Indikator-Indikator Evaluasi

Toolkit ini menggunakan istilah ‘dampak’ untuk merujuk pada ‘setiap perubahan yang dibuat pada sebuah situasi atau konteks.’ (Definisi dampak ini berbeda dengan yang digunakan pada praktek monitoring dan evaluasi pada umumnya.)

Menilai dampak berarti mendokumentasikan apa yang telah berubah, serta semua faktor yang berkontribusi dalam mencapai perubahan itu. (Lihat Pernyataan Dampak)

Ini termasuk memetakan dampak yang diinginkan dan tidak diinginkan, terencana dan tidak terencana – baik positif maupun negatif. Mengetahui dampak positif dan negatif dapat membantu memperbaiki inisiatif Anda sepanjang prosesnya, sekaligus bertanggung jawab kepada anggota masyarakat, mitra, dan pemangku kepentingan.

Toolkit ini membantu Anda memetakan dan menganalisis dampak jangka pendek (juga dikenal sebagai indikator proses atau indikator ‘keluaran’) dan dampak jangka panjang (juga dikenal sebagai indikator ‘hasil’).

  • Dampak jangka pendek dapat mencakup memberi informasi kepada audiens baru tentang suatu masalah melalui pemutaran film, membangun kapasitas gerakan sosial melalui pelatihan, atau memobilisasi target audiens untuk mengambil tindakan (seperti menghadiri rapat umum atau menandatangani petisi).
  • Dampak jangka panjang, seperti mengubah sikap sosial atau mengubah kebijakan publik atau hukum, membutuhkan banyak upaya dari waktu ke waktu oleh banyak pelaku dan pemangku kepentingan yang berbeda.

Di bawah ini ada indikator evaluasi yang disarankan untuk setiap tahap inisiatif Video for Change. Sebagian besar indikator adalah indikator jangka pendek. Tetapi kami juga menyertakan indikator yang dapat membantu Anda menilai efek jangka panjang dan berbagai hasil dari inisiatif Anda.

Anda dapat mempertimbangkan daftar indikator di bawah ini untuk mengukur pencapaian inisiatif video Anda, atau sebagai inspirasi. Barangkali saja, ada hal-hal yang sesungguhnya sudah Anda lakukan namun tidak disadari sebagai sebuah pencapaian atau dampak. Atau mungkin, ada beberapa indikator yang dapat Anda jadikan bagian dari strategi Video for Change Anda.

Sebelum itu, Small World News, sebuah organisasi pelatihan Video for Change dan jurnalisme, mengingatkan bahwa ketika kita berpikir tentang mengukur peningkatan kapasitas, atau dampak lain dari inisiatif Video, persyaratan donor seringkali tidak sesuai dengan esensi pengembangan keterampilan dan kapasitas. Persyaratan tersebut dapat berfokus hanya pada jumlah orang yang dilatih atau jumlah penonton yang hadir, yang kadang-kadang menutupi pertanyaan yang lebih penting tentang seberapa baik peserta pelatihan belajar dan merasakan manfaatnya tentang keikutsertaan dalam kegiatan.

Oleh karena itu, penting untuk mengingat bahwa indikator dibuat untuk membantu Anda menangkap dampak yang terjadi.

Indikator Nilai dan Metode

Berbagai indikator yang dapat membantu Anda dalam merencanakan dan mengevaluasi dampak berdasarkan nilai-nilai dan metode-metode yang ada pada Impact Toolkit ini.

Pernyataan Dampak:

  • Anggota komunitas terdampak dan pemangku kepentingan dapat mengetahui hasil penilaian dari tujuan awal inisiatif video Anda.
  • Peserta evaluasi dapat menyampaikan secara jelas perubahan apa saja yang dirasakan dalam kehidupan mereka dengan adanya inisiatif video Anda.
  • Anggota komunitas terdampak dapat menentukan apa ‘perubahan yang paling signifikan’ bagi mereka setelah inisiatif Video for Change Anda dibuat.

Analisis Kekuasaan:

  • Bentuk-bentuk praktik dan ketimpangan kekuasaan dan pengaruhnya pada komunitas terdampak dibahas secara terbuka dalam diskusi kelompok terarah atau lewat survei.
  • Tim inisiatif video bersama komunitas terdampak membuat pemetaan perubahan apa saja yang terjadi (jika ada) pada relasi kuasa selama berlangsungnya proses inisiatif video Anda dan setelah selesainya.
  • Anggota masyarakat terdampak memahami hubungan inisiatif video Anda, dampak yang ingin dicapai, serta situasi ketidakadilan di komunitasnya. Mereka ikut memutuskan bagian mana saja yang akan ditindaklanjuti.

Partisipasi dan Inklusi:

  • Anggota kelompok rentan atau terpinggirkan dikonsultasikan dan masukan mereka diikutsertakan pada tiap langkah dari inisiatif video Anda.
  • Perwakilan dari kelompok rentan dan terpinggirkan berpartisipasi dalam proses evaluasi, dan masukan mereka didengarkan.
  • Semua kegiatan yang melibatkan masyarakat terdampak (pelatihan, perencanaan, monitoring, evaluasi) dilakukan dalam bahasa lokal dan di tempat umum yang mudah diakses.
  • Anggota komunitas terdampak dapat berkontribusi penuh pada tahapan apa pun ide video inisiatif Anda, termasuk juga memberi masukan untuk topik, pendekatan inisiatif video, agenda diskusi kelompok terarah, serta desain evaluasi.
  • Anggota komunitas terdampak menyampaikan perasaan mampu, memperoleh manfaat atau belajar sesuatu lewat keterlibatan yang inklusif, urun pendapat, ide maupun saling berbagi cerita.

Akuntabilitas dan Transparansi:

  • Hasil evaluasi akhir, dibuat dan dibagikan dengan mitra dan pemangku kepentingan.
  • Masyarakat terdampak memperoleh informasi tentang kegiatan evaluasi yang akan dilakukan di komunitas mereka, dan memperoleh hasilnya (dibuat dalam bahasa lokal).
  • Rasa percaya dibangun antara tim inisiatif video, komunitas terdampak dan organisasi mitra, mengarah pada potensi kolaborasi yang terus berlanjut sepanjang proses inisiatif video maupun sesudahnya.

Manajemen Risiko:

  • Pemilihan peserta dan lokasi untuk diskusi kelompok terarah ditentukan setelah penilaian risiko.
  • Informasi dalam evaluasi akhir dibuat anonim sesuai kebutuhan dan disimpan dengan aman.
  • Peserta memperoleh penjelasan seputar risiko atau hal-hal tak terduga yang mungkin terjadi, jika terlibat dalam kegiatan evaluasi akhir.

Indikator Riset dan Perencanaan

Berbagai indikator yang dapat membantu Anda dalam merencanakan dan mengevaluasi dampak selama proses Riset dan Perencanaan.

  • Para peserta memandang penting persoalan yang Anda angkat dan ingin melakukan sesuatu untuk mengatasinya.
  • Masyarakat terdampak memperoleh kesempatan berbagi cerita terkait permasalahan yang diangkat di inisiatif video Anda.
  • Perwakilan dari komunitas terdampak diikutsertakan dalam proses penelitian dan perencanaan.
  • Ada ruang bagi anggota tim untuk dapat saling memberi masukan tentang alokasi penggunaan dana atau sumber daya lainnya.
  • Anggota komunitas terdampak memahami tujuan inisiatif video Anda dan dapat menyampaikan apa pengaruhnya terhadap kehidupan mereka.
  • Ada cara-cara yang disiapkan untuk menjaga keterlibatan komunitas terdampak dan pemangku kepentingan utama selama berjalannya inisiatif video Anda, bahkan sampai selesainya.
  • Anggota komunitas terdampak telah dikonsultasikan sehingga mereka memahami tujuan dari inisiatif video Anda.
  • Anggota komunitas terdampak telah bertemu dengan orang-orang dengan perspektif berbeda terkait isu yang diangkat dalam video inisiatif Anda, dan sempat mendiskusikan perbedaan persepsi tersebut.
  • Ada peningkatan kesadaran di komunitas terdampak akan isu yang mempengaruhi hidup mereka.
  • Tim Anda telah berkontak dengan orang atau lembaga yang dianggap bisa mendukung inisiatif video Anda.
  • Diskusi kelompok terarah untuk merumuskan masalah telah dilakukan bersama komunitas terdampak.
  • Tim video telah mengidentifikasi isu-isu lain di luar persoalan yang diangkat inisiatif video Anda, yang berhubungan erat dengan komunitas terdampak.
  • Anggota tim video telah mempelajari satu dimensi ilmu atau pengetahuan baru terkait isu yang diangkat dalam inisiatif video Anda.
  • Tim video mampu melibatkan kelompok rentan (misal: LGBT, kaum disabilitas, lansia) dalam perencanaan dan riset inisiatif video.
  • Target penonton untuk inisiatif video Anda diidentifikasi bersama anggota komunitas terdampak.
  • Komunitas terdampak yang dilibatkan dalam inisiatif video mengerti dan telah dikonsultasikan mengenai pernyataan dampak video.

Indikator peningkatan kapasitas yang disarankan

Berbagai indikator yang dapat membantu Anda dalam merencanakan dan mengevaluasi dampak dari berbagai kegiatan peningkatan kapasitas yang anda lakukan.

  • Baik tim dan peserta memahami tujuan lokakarya atau pelatihan.
  • Peserta secara aktif menyampaikan pendapat atau masukan pada agenda lokakarya atau pelatihan yang mereka hadiri.
  • Adanya keragaman peserta, yang meliputi :
    • Perwakilan peserta dari berbagai peran dalam suatu komunitas (misal : pkk, kelompok tani, perangkat desa, dll.)
    • Adanya partisipasi dari anggota kelompok rentan, minoritas atau kelompok yang kurang terwakili (kaum disabilitas, lansia, lgbt, anggota penghayat kepercayaan, dll.)
    • Peserta dari berbagai lokasi geografis, misal daerah yang kaya versus daerah yang lebih miskin.
  • Peserta diberi kesempatan untuk memberikan masukan, saran atau kritik tentang pelatihan, dan fasilitator menindaklanjuti umpan balik tersebut untuk perbaikan.
  • Baik tim dan peserta menyadari bahwa mereka mungkin datang dari konteks latar belakang yang berbeda dan bagaimana hal itu akan berpengaruh pada proses pelatihan.
  • Tim memahami pentingnya persetujuan tindakan (consent) dan penggunaannya.
  • Peserta dilibatkan dalam diskusi strategi pembuatan film yang aman, khususnya bagi komunitas terdampak.
  • Peserta memperoleh keterampilan atau pengetahuan yang bermanfaat bagi mereka lewat pelatihan ini.
  • Ruang untuk diskusi dan membahas teknik bercerita telah disediakan kepada anggota komunitas terdampak.
  • Anggota komunitas terdampak mampu untuk mengoperasikan kamera.
  • Anggota komunitas terdampak yang akan dilibatkan dalam inisiatif video mengerti proses pembuatan sebuah film atau video.
  • Anggota komunitas terdampak mengerti perbedaan antara berbagai jenis produk audio-visual, misalnya antara film, program tv, dan Video for Change.
  • Anggota komunitas terdampak mampu untuk bicara pada birokrat desa dan/atau pejabat daerah.
  • Anggota komunitas terdampak mampu mengelola sebuah anggaran produksi secara transparan dan akuntabel.
  • Anggota komunitas terdampak mampu mengadakan alternatif hiburan melalui screening sederhana.
  • Anggota komunitas terdampak paham bahwa video dapat menjadi media/wadah untuk berbagai hal.
  • Anggota komunitas terdampak mampu menyunting hasil gambar yang sudah direkam.
  • Anggota komunitas terdampak dapat menyampaikan dengan jelas perubahan yang ingin mereka capai.

Indikator Pembuatan Film dan Produksi

Berbagai indikator yang dapat membantu Anda dalam merencanakan dan mengevaluasi dampak selama proses perekaman dan produksi.

  • Adanya ruang dan kesempatan bagi tim inisiatif video, anggota masyarakat terdampak, dan pemangku kepentingan lainnya untuk merefleksikan pengalaman pengambilan film, mendiskusikan apa yang sudah berjalan baik, yang masih jadi hambatan, serta manfaat yang didapatkan.
  • Tim inisiatif video meninjau kembali pernyataan dampak, serta merefleksikan kembali harapan dan ekspektasi yang mereka buat di awal.
  • Pemetaan tentang potensi bahaya dan risiko terhadap inisiatif video Anda telah dibuat.
  • Tim inisiatif video telah mendiskusikan dan menentukan cara meminimalkan risiko atau bahaya dari inisiatif video Anda.
  • Data yang sensitif disimpan dengan aman, serta pengambilan data tidak dilakukan di area yang berisiko tinggi.
  • Tim inisiatif video telah memastikan fasilitas dan cara agar orang-orang dapat berpartisipasi secara anonim.
  • Anggota komunitas terdampak telah memperoleh keterampilan membuat film dan produksi.
  • Anggota komunitas terdampak lebih memahami tujuan inisiatif video melalui interaksi (obrolan) pada saat syuting.
  • Proses menggali cerita bersama berbagai narasumber dari komunitas terdampak telah dilakukan.
  • Pengambilan film dilakukan sesuai rencana manajemen risiko yang telah dibuat.
  • Diskusi kecil pasca pemutaran (hasil sementara syuting) telah dilakukan bersama komunitas terdampak.
  • Seluruh tim yang terlibat dalam inisiatif video paham dengan isu dan bagaimana cara penyampaiannya lewat video.
  • Seluruh tim paham akan kemungkinan tidak terduga.
  • Anggota komunitas terdampak belajar bagaimana mereka bisa menceritakan sesuatu lewat media audio-visual.
  • Ada keterlibatan berbagai elemen masyarakat dan pemangku kepentingan di dalam proses pengambilan film dan proses produksi.

Indikator Penjangkauan, Distribusi, dan Keterlibatan

Berbagai indikator yang dapat membantu Anda dalam merencanakan dan mengevaluasi dampak selama proses penjangkauan, distribusi, dan pelibatan.

  • Berbagai bentuk promosi telah dilakukan agar audiens yang disasar memperoleh informasi tentang inisiatif video Anda.
  • Kegiatan dilakukan pada waktu dan lokasi yang tepat sehingga memungkinkan orang-orang untuk hadir dan berpartisipasi.
  • Mengumpulkan data tentang siapa audiens yang menonton inisiatif video Anda (informasi kuantitatif, demografis).
  • Mendokumentasikan respons audiens yang telah menonton inisiatif video Anda, misal lewat survei atau diskusi kelompok terarah.
  • Ada ruang yang tersedia bagi tim inisiatif video, anggota komunitas terdampak, dan para pemangku kepentingan untuk berbagi pengalaman, berefleksi, dan belajar dari proses penjangkauan, distribusi, dan keterlibatan.
  • Anggota komunitas terdampak dan audiens melakukan sebuah aksi, sesederhana apa pun itu (membuat postingan ulasan, memberi donasi, mencari informasi lebih lanjut, dll.) terkait isu atau konteks yang diangkat dalam video inisiatif Anda.
  • Anggota komunitas terdampak mendukung dan terlibat dalam penyelenggaraan screening awal di dalam komunitas.
  • Pengambil keputusan (decision maker) merasa tergerak oleh video inisiatif yang dibuat.
  • Anggota komunitas terdampak berkomitmen untuk melakukan perubahan yang di advokasikan dalam video.
  • Ada inisiatif video baru, sebuah produksi video baru, yang diinisiasi oleh anggota komunitas terdampak yang terlibat dalam inisiatif video.
  • Anggota komunitas terdampak lebih terbuka dan yakin akan adanya manfaat dari penggunaan media video.
  • Anggota komunitas terdampak hadir sebagai narasumber dalam tur screening.
  • Isu yang diangkat dalam video menjadi viral, atau banyak dibicarakan di dalam komunitas terdampak.
  • Komunitas pembuat video lain terdorong untuk membahas isu terkait inisiatif video Anda.
  • Anggota komunitas terdampak terlibat aktif dalam cara pendistribusian video.
  • Diadakan diskusi setelah screening dengan anggota komunitas terdampak
  • Catatan hasil diskusi setelah screening dibagikan dan dievaluasi bersama anggota komunitas terdampak.
  • Subtitle untuk kaum tuli dipasang pada video inisiatif Anda.
Mendokumentasikan keberhasilan inisiatif Video Anda dengan menggunakan indikator-indikator di atas akan memudahkan mengukur dampak Anda, dan Anda harus memodifikasi ini berdasarkan tujuan Anda sendiri.

Untuk masing-masing bagian ini, kami sarankan Anda menggunakan Pernyataan Dampak sebagai dasar untuk menilai apa yang telah terjadi dan apa yang telah berubah. Harap dicatat: kami telah memasukkan satu set indikator evaluasi dasar. Jika Anda ingin melakukan evaluasi yang lebih komprehensif dan mampu melakukannya, Anda dapat melibatkan seorang profesional untuk monitoring dan evaluasi.