MATERI EVALUASI KEBIJAKAN

RESUME (EVALUASI KEBIJAKAN)

Evaluasi kebijakan dalam perspektif alur proses/siklus kebijakan publik, menempati posisi terakhir setelah implementasi kebijakan. Pada akhirnya kebijakan publik yang dibuat dan dilaksanakan akan dievaluasi. Evaluasi ini dapat memberikan informasi keberhasilan atau kegagalan pada sebuah kebijakan yang dilaksanakan. Secara normative akan diperoleh rekomendasi apakah kebijakan dapat dilanjutkan atau perlu perbaikan sebelum dilanjutkan atau bahkan harus diberhentikan. Evaluasi juga menilai keterkaitan antara teori kebijakan dengan prakteknya dalam bentuk dampak kebijakan. Fungsi evaluasi sebagai bentuk pertanggung jawaban publik, terlebih di mata masyarakat yang semakin kritis menilai kinerja pemerintah.

Analisis kebijakan publik (policy analysis) adalah kajian muli displin terhadap kebijakan yang bertujuan untuk mengintegrasikan dan mengkontektualisasikan model dan riset dari disiplin-displin tersebut yang mengandung orientasi problem dan kebijakan (person,xli). Menurut Wildavsky (1979): analisis kebijakan adalah subbidang terapan yang isinya tidak dapat ditentukan berdasarkan displin ilmu yang terbatas, tapi dengan segala sesuatu yang tampaknya sesuai dengan situasi dari masa dan hakekat dari persoalannya.

Menurut Harold Laswell dalam buku Parson adalah analisis yang:

1.      Multi Method

2.      Multi disciplinary

3.      Berkaitan dengan pemetaan konstektualitas problem kebijakan, opsi kebijakan, dan hasil kebijakan.

4.      Bertujuan untuk mengintegrasikan pengetahuan ke dalam suatu displin yang menyeluruh untuk menganalisis pilihan publik dan pengambilan keputusan.

Pernyataan Harold Laswell ini lebih berfokus pada persoalan proses pembuatan kebijakannya, yakni dari tahap pendefinisian masalah, agenda setting, formulasi kebijakan sampai legalisasi kebijakan. Hal ini berbeda dengan pendapat Parson yang menyatakan ada 2 kategori luas analisis dalam studi kebijakan publik:

1.      Analisis proses kebijakan yakni analisis bagaimana mendefinisikan proses kebijakan.dimulai dar mendefinisikan problem sampai implementasinya.

2.      Analisis dalam dan untuk proses kebijakan, yakni kajian yang menggunakan teknis analisis, riset dan advokasi dalam pendefinisian problem sampai implementasinya. Atau dengan kata lain kategori pertama menganalisis untuk tujuan deskripsid dan ekplanasi proses kebijakan, sedang yang kedua analisis untuk bertujuan penilaian secara analitis terhadap proses kebijakan (dan jika memungkinkan bersifat presripif bagi kasus yang di riset)

Rumusan Parsons di atas, maka analisis implementasi dan analisis evaluasi adalah bagian dari analisis kebijakan publik, hanya ada satu tahap proses dan kedalaman analisis yang berbeda. Yang dipahami adalah sebagai analisis kebijakan yang lebih berfokus pada proses pembuatan kebijakan, sebagaimana yang dikatakan oleh Laswell. Sedangkan analisis implementasi dan analisis evaluasi memiliki fokus berbeda sesuai namanya, kendati juga tetap merupakan analisis yang multi displin.

            Menurut rumusan Sabalter dan Mazamnian, melakukan studi implementasi berarti berusaha memahami apa yang senyatanya terjadi setelah suatu program diberlakukan, yakni peristiwa dan kegiatan dalam usaha untuk mengadministrasikannya dan usaha-usaha untuk memberikan dampak tertentu pada masyarakat. Dari rumusan itu, maka lingkup studi implementasi adalah seluruh kegiatan dan peristiwa yang terjadi setelah suatu kebijakan diberlakukan.

            Analisis dalam studi implementasi misalnya tidak mempertanyakan apakah sebuah kebijakan yang gagal dalam pengimplementasiannya adalah sebuah kebijakan yang benar-benar tepat untuk mencapai tujuan yang diinginkan (Ini adalah pertanyaan evaluatif). Studi implementasi mempertanyakan apakah terjadi kesalahan atau kekurangan dalam proses pengimplementasian dan apa sebabnya. Batasan anatara studi evaluasi dan analisis studi implementasi yaitu, studi implementasi hanya berkaitan dengan pertanyaan bagaimana cara agen publik mengimplementasikan sebuah kebijakan untuk mencapai perubahan sebagaimana yang dimaksud oleh kebijakan tersebut.

            Pendapat Jenkis: Studi implementasi adalah studi perubahan: bagaimana perubahan itu terjadi, bagaimana kemungkinan perubahan bisa dimunculkan. Juga merupakan studi tentang mikrostruktur dari kehidupan politik: bagaimana organisasi di dalam dan di luar system politik menjalankan fungsi mereka dan berinteraksi satu sama lain: apa memotivasi tindakan-tindakan mereka dan apa motivasi lain yang mungkin membuat mereka bertindak secara berbeda (Jenkins, 1978,p.200).

            Wels secara tegas menyatakan bahwa tujuan analisis evaluasi lebih pada pengukuran efek dan dampak sebuah program/kebijakan pada masyarakat, dibanding pengukuran atas efisiensi, kejujuran, pelaksanaan, dan lain-lain yang terkait dengan standa-standar pelaksanaan.

            Tujuan kebijakan itu adalah menghasilkan dampak/perubahan, sehingg wajar jika untuk itulah evaluasi dilakukan. Yang membedakan antara analisis studi implementasi dengan analisis studi evaluasi dapat kita lihat pada pendapat Parsons”… Evaluasi exmines” how public policy and the people who deliver it may be appraised, audited, valued and controllerd” while the study of implementation is about” how policy is put into action and practice” (1995,p.461).

            Menurut Welss (p.6-7) yang membedakan analisis evaluasi dengan analisis akademik lainnya yaitu:

1.      Evaluasi ditujukan untuk pembuatan keputusan, untuk menganalisis problem sebagaimana yang didefinisikan oleh pembuat keputusan, bukan oleh periset, sebab si pembuat keputusanlah yang berkepentingan terhadap hasil evaluasi.

2.      Evaluasi adalah riset yang dilakukan dalam setting kebijakan, bukan dalam setting akademik, karenanya pertanyaan-pertanyaan evaluasi di arahkan pada program. Peneliti tidak membangun asumsi dan hipotesisnya sendiri sebagaimana pada studi-studi lain.

3.      Evaluasi memebrikan penilaian atas pencapaian tujuan, bukan mengevaluasi tujuan.

TUJUAN DAN FUNGSI EVALUASI

Tujuan evaluasi yaitu:

1.      Mengatur efek suatu program/kebijakan pada kehidupan masyarakat dengan membandingkan kondisi antara sebelum dan sesudah adanya program tersebut. Mengukur efek, menunjuk pada perlunya metodologi penelitian. Sedang membandingkan efek dengan tujuan mengharuskan penggunaan criteria untuk mengukur keberhasilan.

2.      Memperoleh infomasi tentan kinerja implementasi kebijakan dan menilai kesesuaian dan perubahan program dengan rencana.

3.      Memberikan umpan balik bagi manajemen dalam rangka perbaikan/penyempurnaan implementasi.

4.      Memberikan rekomendasi pada pembuat kebijakan untuk pembuatan keputusan lebih lanjut mengenai program di masa datang.

5.      Sebagai bentuk pertanggung jawaban publik/memenuhi akuntabilitas public.

Fungsi Evaluasi (William N. Dunn; Ripley)

Evaluasi kebijakan berfungsi untuk memenuhi akuntabilitas public, karenanya sebuah kajian evaluasi harus mampu memenuhi esensi akuntabilitas tersebut, yakni:

1.      Memberikan eksplanasi yang logis dan realitas pelaksanaan sebuah program/kebijakan. Untuk itu dalam studi evaluasi perlu dilakukan penelitian/kajian tentang hubungan kausal atau sebab akibat.

2.      Mengukur kepatuhan, yakni mampu melihat kesesuaian antara pelaksanaan dengan standar dan prosedur yang telah ditetapkan.

3.      Melakukan auditing untuk melihat apakah output kebijakan sampai pada sasaran yang dituju? Apakah ada kebocoran dan penyimpangan pada penggunaan anggaran, apakah ada penyimpangan tujuan program, dan pada pelaksanaan program.

-          Auditing untuk melihat dan mengukur akibat sosial ekonomi dari kebijakan. Misalnya seberapa jauh program yang dimaksud mampu meningkatkan pendapatan masyarakat, adakah dampak yang ditimbulkan telah sesuai dengan yang diharapkan, adakah dampak yang tak diharapkan.

DIMENSI EVALUASI

2 Dimensi penting yang harus diperoleh informasinya dari studi dievaluasi dalam kebijakan publik.

1.      Evaluasi kinerja pencapaian tujuan kebijakan, yakni mengevaluasi kinerja orang-orang yang bertanggungjawab mengimplementasikan kebijakan. Darinya kita akan memperoleh jawaban atau infromasi mengenai kinerja implementasi, efektivitas dan efisiensi.

2.      Evaluasi kebijakan dan dampaknya, yakni mengevaluasi kebijakan itu sendiri serta kandungan programnya. Darinya kita akan memperoleh informasi yang mengenai menfaat (efek) kebijakan, dampak (outcome) kebijakan, kesesuaian kebijakan/program dengan tujuan yang ingin dicapainya (kesesuaian antara sarana dan tujuan) dll.

Menurut Palumbo dimensi kajian pada studi evaluasi mencakup keseluruhan siklus di dalam proses kebijakan, dari saat penyusunan desain kebijakan, saat implementasi, hingga saat selesai diimplementasikan. Jika dikaitkan dengan kebutuhan informasi yang diperoleh dari hasil evaluasi, maka dimensi evaluasi kebijakan meliputi hal-hal berikut:

1.      Evaluasi desain kebijakan, untuk menilai apakah alternative-alternative yang dipilih sudah merupakan alternative yang paling hemat dengan mengukur hubungan antara biaya dengan manfaat (cost-benefit analysis), dll yang bersifat rasional dan terukur.

2.      Evaluasi legitimasi kebijakan, untuk menilai derajad penerimaan suatu kebijakan atau program oleh masyarakat/stakeholder/kelompok sasaran yang dituju oleh kebijakan tersebut. Metode evaluasi diperoleh melalui jajak pendapat (pooling), survey, dll.

3.      Evaluasi formatif yang dilakukan pada saat proses implementasi kebijakan sedang berlangsung. Tujuan evaluasi formatif ini utamanya adalah untuk mengetahui seberapa jauh sebuah program diimplemtasikan dan kondisi-kondisi apa yang dapat diupayakan untuk meningkatkan keberhasilannya. Dalam istilah manajemen, evaluasi formatif adalah monitoring terhadap pengaplikasian kebijakan. Evaluasi formatif banyak melibatkan ukuran-ukuran kuantitatif sebagai pengukuran kinerja implementasi.

4.      Evaluasi sumatif yang dilakukan pada saat kebijakan telah diimplementasikan dan memberikan dampaka. Tujuan evaluasi sumatif ini adalah untuk mengukur bagaimana efektivitas kebijakan/program tersebut memberikan dampak yang nyata pada problem yang ditangani.

TUJUAN-TUJUAN EVALUASI

1.      Tujuan evaluasi formatif adalah untuk mengevaluasi pelaksanaan program yang memiliki ciri-ciri sebagai berikut:

·         Merupakan eveluasi terhadap proses

·         Menilai tingkat kepatuhan pelaksanaan atas standar aturan.

·         Menggunakan model-model dalam implementasi

·         Biasanya bersifat kualitatif

·         Melihat dampak janka pendek dari pelaksanaan kebijakan/program

Tujuan evaluasi formatif untuk melihat

·         Sejauh mana sebuah program mencapai target populasi yang tepat

·         Apakah penyampaian pelayanana telah sesuai dan konsisten dengan spesifikasi program atau tidak

·         Sumber daya apa yang dikeluarkan dalam melaksanakan program tersebut (Rossi & Freeman dalam Parsons, h.550)

JENIS EVALUASI FORMATIF

1.      Evaluasi administrative: biasanya evaluasi administrative dilakukan dalam lingkup pemerintahan yang dikaitkan dengan aspek-aspek ketaan financial dan prosedur.

2.      Evaluasi yudisial: evaluasi yang berkaitan dengan obyek-obyek hukum.

-Evaluasi politik: evaluasi yang dilakukan oleh lembaga-lembaga politik

ASPEK-ASPEK EVALUASI FORMATIF

Aspek-aspek kinerja implementasi yang dievaluasi dalam evaluasi formatif ini adalah:

1.      Effort evaluation: Mengevaluasi kecukupan input program

2.      Performance evaluation: Mengkaji output dibandingkan dengan input program

3.      Effectivenes evaluation: Mengkaji apakah pelaksanaannya sesuai dengan sasaran & tujuan.

4.      Effeciency evaluation: Membandingkan biaya dengan output yang dicapai

5.      Process evaluation: Mengkaji metode pelaksanaan, aturan dan prosedur dalam pelaksanaan.

Kategori evaluasi menurut William N.Dun yaitu:

Katagori	Pertanyaan	Ilustrasi
Efektifitas	Apakah hasil yang diinginkan telah tercapai?	Unit Pelayanan
Efisiensi	Seberapa banyak upaya yang diperlukan untuk mencapai hasil yang diinginkan?	Cost-benefit Ratio; Manfaat bersih; Unit Biaya
Kecukupan	Seberapa jauh pencapaian hasil yang diinginkan untuk memecahkan masalah	BIaya tetap, Efektifitas tetap
Pemerataan	Apakah biaya manfaat didistribusikan secara merata kepada kelompok-kelompok yang berbeda?	Criteria Pareto; Kriteria Kaldor-Hicks: Kriteria Rawls
Responsivitas	Apakah hasil kebijakan memuaskan kebutuhan/preferensi atau nilai-nilai kelompok tertentu?	Konsistensi dengan survey warga negara
Ketepatan	Apakah hasil (tujuan) yang diinginkan benar-benar berguna atau bernilai	Program public harus merata dan eisien

EVALUASI SUMATIF/EVALUASI DAMPAK

1. Dampak adalah perubahan kondisi fisik maupun sosial sebagai akibat dari output kebijakan
2. Akibat yang dihasilkan oleh suatu intervensi program pada kelompok sasaran (baik akibat yang diharapkan atau tidak diharapkan), dan sejauh mana akibat tersebut mampu menimbulkan pola perilaku baru pada kelompok sasaran (impact)
3. Akibat yang dihasilkan oleh suatu intervensi program pada kelompok sasaran, baik yang sesuai dengan yang diharapkan  ataupun tidak dan apakah akibat tersebut tidak mampu menimbulkan perilaku baru pada kelompok sasaran (effects)

 TUJUAN EVALUASI SUMATIF/DAMPAK

Evaluasi sumatif umumnya dilakukan untuk memperoleh informasi terkait dengan efektifitas sebuah kebijakan/program terhadap permasalahan yang diintervensi. Evaluasi ini bertujuan untuk: 

·         Menilai apakah program telah membawa dampak yang diinginkan terhadap individu, rumah tangga dan lembaga

·         Menilai apakah dampak tersebut berkaitan dengan intervensi program

·         Mengeksplore apakah ada akibat yang tidak diperkirakan baik yang positif maupun yang negatif

ü  Mengkaji bagaimana program mempengaruhi kelompok sasaran, dan apakah perbaikan kondisi kelompok sasaran betul-betul disebabkan oleh adanya program tersebut ataukah karena faktor lain.

DIMENSI DAMPAK

    Dimensi dampak yang dikaji dalam evaluasi kebijakan ini meliputi:

1.      Dampak pada masalah publik (pada kelompok sasaran) yang diharapkan atau tidak.

2.      Dampak pada kelompok di luar sasaran sering disebut eksternalitas / dampak melimpah (spillover effects)

3.      Dampak sekarang dan dampak yang akan datang.

·         Dampak biaya langsung yang dikeluarkan untuk membiayai program  dan dampak biaya tak langsung yang dikeluarkan publik akibat suatu kebijakan (misalnya dampak terhadap pengeluaran rumah-tangga akibat relokasi pemukiman yang menyebabkan jarak ke sekolah/tempatkerja makin jauh, dlsb).

APRRAISAL DIMENSI DAMPAK

Menurut Langbein (1980) memperkirakan dampak perlu memperhitungkan dimensi-dimensi sebagai berikut:

1.      a.  Waktu. Dimensi waktu ini penting diperhitungkan karena kebijakan dapat memberikan dampak yang panjang, baik sekarang maupun pada masa yang akan datang. Semakin lama periode evaluasi waktu semakin sulit  mengukur dampak, sebab :

1)      Hubungan kausalitas antara program dengan kebijakan semakin kabur,

2)      Pengaruh factor-faktor lain yang harus dijelaskan juga semakin banyak

3)       Jika efek terhadap individu dipelajari terlalu lama maka akan kesulitan menjaga track record individu dalam waktu yg sama.

4)       Semakin terlambat sebuah evaluasi dilakukan akan semakin sulit mencari data dan menganalisis pengaruh program yang diamati.

1.      b. Selisih antara dampak aktual dengan yang diharapkan.

Selain memperhatikan efektifitas pencapain tujuan, seorang evaluator harus pula memperhatikan:

1)      Berbagai dampak yang tak diinginkan,

2)      Dampak yang hanya sebagian saja dari yang diharapkan dan

3)      Dampak yang bertentangan dari yang diharapkan

1.      c. Tingkat Agregasi Dampak

Dampak juga bersifat agregatif artinya bahwa dampak yang dirasakan secara individual akan dapat merembes pada perubahan di masyarakat secara keseluruhan

1.      d. Tipe Dampak. Ada 4 tipe utama dampak program:

1)      Dampak pada kehidupan ekonomi : penghasilan, nilai tambah dsb

2)      Dampak pada proses pembuatan kebijakan: apa yg akan dilakukan pada kebijakan berikutnya

3)      Dampak pada sikap publik : dukungan pada pemerintah, pada program.

4)      Dampak pada kualitas kehidupan individu, kelompok dan masyarakt yg bersifat non ekonomis.

 UNIT-UNIT SOSIAL TERDAMPAK

Sebuah kebijakan/program dapat membawa dampak pada berbagai unit sosial yaitu:

1. Dampak individual

Biologis (penyakit, cacat fisik dsb karena kebijakan teknologi nuklir misalnya), psikologis (stress, depresi, emosi dsb), lingkungan hidup (tergusur, pindah rumah dsb), ekonomis (naik turunnya penghasilan, harga, keuntungan dsb), sosial serta personal.

2. Dampak organisasional

Langsung (terganggu atau terbantunya pencapaian tujuan organisasi), tak langsung (peningkatan semangat kerja, disiplin)

3. Dampak pada masyarakat (meningkatnya kesejahteraan; dlsb)
1. Dampak pada lembaga dan sistem sosial (meningkatnya kesadaran kolektif masyarakat; menguatnya solidaritas sosial, dan lain sebagainya.)

FAKTOR-FAKTOR KEGAGALAN DAMPAK

 Sebuah kebijakan/program bisa saja gagal memperoleh dampak yang diharapkan meski proses implementasi berhasil mewujudkan output sebagaimana yang dituntut oleh program tersebut, namun ternyata gagal mencapai outcomesnya; apalagi jika proses implementasi gagal mewujudkan keduanya. Hal ini menurut Anderson bisa saja disebabkan karena:

1)      Sumber daya yang tidak memadai

2)      Cara implementasi yang tidak tepat (misalkan pilihan-pilihan tindakan yang kontra produktif seperti studi banding atau membeli mobil bagi pejabat yang memakan banyak biaya dengan tujuan meningkatkan kapasitas layanan)

3)      Masalah publik sering disebabkan banyak faktor tetapi kebijakan yang dibuat hanya mengatasi satu faktor saja

4)      Cara menanggapi kebijakan yang justru dapat mengurangi dampak yang diinginkan (misalkan karena takut dianggap melanggar prosedur, maka implementers bertindak sesuai ‘textbook’ walau situasinya mungkin berbeda)

5)       Tujuan-tujuan kebijakan tak sebanding bahkan bertentangan satu sama lain (misalnya kebijakan untuk menumbuhkan industry dalam negeri yang memberi  insentif pajak dan kemudahan modal; tapi di sisi lain ada kebijakan kenaikan harga listrik dan kenaikan harga sumber energy, dll)

6)      Biaya yang dikeluarkan jauh lebih besar dari masalahnya (yang ini sering terjadi di Indonesia, terutama karena seringnya terjadi mark-up harga, ataupun karena bentuk-bentuk kegiatan yang terkesan dicari-cari untuk penyerapan anggaran yang seharusnya tidak dibutuhkan.

7)      Banyak masalah publik yang tak mungkin dapat diselesaikan

8)      Timbulnya masalah baru sehingga mendorong pengalihan perhatian dan tindakan

9)       Sifat dari  masalah yang akan dipecahkan (Anderson, 1996)

STUDI EVALUASI KEBIJAKAN

Evaluasi program atau kebijakan tidak dapat dilakukan hanya melalui kajian teoritik atau hanya melalui data-data sekunder, sebab jika hal tersebut yang dilakukan, maka penilaian dan rekomendasi yang dihasilkan tidak valid karena hanya berdasarkan perkiraan saja. Untuk dapat disebut sebagai sebuah Studi/kajian, maka Evaluasi kebijakan harus memenuhi  hal-hal berikut ini:

1.      KARAKTERISTIK PENELITIAN EVALUASI

1)      Evaluasi harus empirik tidak spekulatif hipotetik atau asumtif teoritik

2)      Tidak bias pada satu alternatif atau dampak tertentu

3)      Rasional, harus sistematis dan dapat dipertanggungjawabkan dihadapan pakar

4)      Kajian harus dilakukan dari berbagai aspek

5)      Handal dan sahih baik dalam analisis, ketersediaan data dan reliabilitas datanya.

2.      TEKNIS PENELITIAN EVALUASI

Penelitian evaluasi kebijakan bukanlah hal yang dapat dipandang sepele karena dari hasil penelitian tersebut diharapkan diperoleh masukan/umpan balik dan penilaian-penilaian yang akurat atas sebuah kinerja kebijakan/program, serta hasilnya dapat dipertanggung-jawabkan. Untuk itu Leonard Rutman memberikan panduan yang perlu diperhatikan sebagai berikut:

1.      Sebelum pelaksanaan:

1)      Gunakan prosedur-prosedur ilmiah

a)      Mengamati dan memahami tujuan evaluasi

b)       Mengamati dan memilih  kriteria

c)       Mengamati sensitivitas metode

2)       Fokus pada proses dan outcomes kebijakan/program, bukan hanya pada outcomesnya saja. Dengan demikian dapat diperoleh informasi mengenai aktifitas-aktifitas apa menghasilkan apa; serta memungkinkan upaya replikasi di kemudian hari. Jangan batasi dampak hanya pada sasaran-sasaran yang dinyatakan secara formal saja, sebab tidak semua sasaran kebijakan dinyatakan secara formal.

3)      Konsekuensi-konsekuensi yang mungkin terjadi akibat program/kebijakan juga dipertimbangkan. Untuk itu manfaatkan  hasil penelitian yang terkait, gunakan logika, atau pengalaman-pengalaman atas program yang serupa.

4)      Pertimbangkan informasi-informasi yang dibutuhkan oleh pembuat keputusan di masa mendatang, bukan hanya kebutuhan saat ini. Bersikaplah sebagai ilmuwan, bukan teknisi evaluasi.

2.      Persiapan sebelum menguji Program:

1)      Definisi Program Secara Jelas.

2)      Keterkaitan Rasional.

Harus ada keterkaitan rasional antara program yang akan dievaluasi dengan sasaran yang dituju dan dampak yang diharapkan. Ada tidaknya kaitan rasional tersebut, dapat menentukan apakah program tersebut yang harus dimodifikasi atau sasaran dan hasil yang harus dirubah (misal Program Pelatihan Angkatan Kerja dengan sasaran jangka panjang berkurangnya angka pengangguran. Akan lebih masuk akal jika dikaitkan dengan sasaran jangka pendek : pencapaian tenaga kerja berketrampilan.

3)      Pastikan Kegunaan Evaluasi.

Kendati studi evaluasi dimaksudkan sebagai akuntabilitas program, serta untuk memberikan informasi yang terkait dengan pelaksanaan dan hasil program kepada pembuat keputusan dan manajemen, namun seringkali studi evaluasi dilakukan dengan maksud-maksud tertentu, yang disebut oleh Edward Suchman sebagai Pseudoevaluations. Karenanya evaluator juga harus mengetahui siapa yang menghendaki dan mendanai studi evaluasi tersebut untuk mencegah timbulnya ketegangan dengan administrator program.

4)      Spesifikasikan Variabel-variabel Evaluasi

a)      Spesifikasikan komponen-komponen program,  dengan memperjelas terdiri dari komponen-komponen aktifitas apa saja program tersebut (misalnya PKK dengan 10 Program PKKnya). Gunanya adalah sebagai Component testing untuk menguji sumbangan keefektifan masing-masing komponen terhadap program

b)      Spesifikasikan sasaran-sasaran dan efeknya. Bukan hanya yang dinyatakan secara formal dalam dokumen atau oleh pengelola program, namun juga sasaran-sasaran latent dan dampak-dampak lain yang diharapkan oleh masyarakat (misal kasus program Bantuan Langsung Tunai BLT yang ditujukan untuk meringankan beban masyarakat miskin akibat kenaikan harga BBM, dapat ditanggapi   beragam – missal: apa criteria ‘miskin’ dan apa criteria ‘meringankan’ yang dimaksudkan oleh program tsb? Karena jawabannya dapat beragam, demikian juga dampaknya). 

5)      Spesifikasikan Variabel-variabel antesedennya.

Anteseden variable adalah factor-faktor konteks yang dapat mempengaruhi jalannya program (misalnya karakteristik target kebijakan; sifat dasar permasalahan sehingga memerlukan intervensi kebijakn, dll).

6)      Spesifikasikan variable-variabel Interveningnya dengan menanyakan: ”Setelah program dijalankan, factor-faktor apakah yang dapat mendukung atau menghambat pencapaian sasaran program?

7)      Measurement. Setelah mengetahui apa saja yang harus diukur, maka langkah selanjutnya adalah memilih tehnik pengukuran yang tepat untuk menilai. Untuk itu perlu : a). ketepatan indicator (tolok ukur) yang digunakan; b). Reliabilitas alat ukur (hasil yang diberikan konsisten meski dilakukan dalam situasi yang berbeda) dan c). Validitas alat ukur (ketepatan alat ukur dalam mengukur fenomena).

c.   Kriteria yang harus dipenuhi dalam evaluasi :

1)      Relevansi : harus mampu memberikan informasi yang tepat pada pembuat dan pelaku kebijakan, mampu menjawab secara benar pertanyaan dalam waktu yang tepat

2)      Signifikan : harus mampu memberikan informasi yang baru  dan penting.

3)      Validitas : mampu memberikan pertimbangan yang tepat sesuai dengan hasil nyata/data empiric mengenai hasil kebijakan.

4)      Reliabilitas : dapat membuktikan bahwa hasilnya diperoleh dengan penelitian yang teliti

5)      Obyektif : tidak memihak /bias

6)      Tepat waktu

7)      Daya guna : hasil penelitian dapat dipahami dan  dimanfaatkan oleh pelaku dan pembuat kebijakan

METODA DAN MODEL-MODEL STUDI EVALUASI

Beragam methoda dan model-model evaluasi program yang dapat digunakan untuk mengukur kinerja implementasi Program/kebijakan. Untuk pemahaman yang lebih baik dan lebih dalam (sebab buku ini hanya untuk memberikan informasi dasar saja), salah satu buku yang dianjurkan dan patut dipelajari adalah buku “Measuring Performance in Public and Nonprofit Organizations” karya Theodore H.Poister.

 PROBLEM DALAM STUDI EVALUASI

1. Ketidakpastian dan ketidakjelasan tujuan kebijakan
2. Evaluasi tidak dilakukan dengan sistematis, sehingga kesulitan menguji kausalitas bahwa dampak memang disebabkan oleh kebijakan tersebut
3. Dampak kebijakan biasanya menyebar di luar sasaran kebijakan
4. Kesulitan dalam memperoleh data primer
5. Data sekunder yang tersedia seringkali kurang valid
6. Resistensi pejabat/penanggung-jawab program yang merasa diawasi
1. Evaluasi cenderung kurang melihat dampak (kurang valid), tapi lebih suka mengkur dan menilai outputnya saja.

EVALUASI KEBIJAKAN DI INDONESIA

1. Sering tidak sungguh-sungguh karena evaluatornya dari Pemerintah sendiri.
2. Hasil evaluasi tidak konklusif, membahas banyak persoalan tetapi tanpa arah yang jelas, sehingga tak ada rekomendasi yang argumentatif
1. Bersifat formalitas dari pada berdasarkan kebutuhan riel. Karena dilakukan secara rutin maka hasilnya kurang tajam. Hanya untuk memenuhi formalitas, membaca data  dan memasukkannya dalam form-form tertentu.

PERTANYAAN-PERTANYAAN DALAM STUDI EVALUASI

1.      MENURUT SOFIAN EFFENDI Tujuan dari evaluasi kebijakan public adalah untuk mengetahui variasi dalam indicator-indikator kinerja yang digunakan untuk menjawab tiga pertanyaan pokok (lihat, Nugroho, h.284),:

a)      Bagaimana kinerja implementasi kebijakan, sejauh mana variasi kesesuaian  capaian kebijakan (output dan outcomes yang dihasilkan dari proses implementasi) dengan indicator-indikator yang telah ditetapkan.

b)     Faktor-faktor apa yang menyebabkan variasi tersebut? Apakah karena factor yang terkait dengan isi program/kebijakan itu sendiri, apakah karena cara kerja dalam pengorganisasian implementasi kebijakan (output yang terkait dengan kinerja implementers); atau karena lingkungan implementasi kebijakan yang mempengaruhi variasi outcomes tersebut.

c)      Bagaimana strategi untuk lebih meningkatkan kinerja implementasi kebijakan? Jawaban atas pertanyaan tersebut adalah tugas pengevaluasi untuk memilih variable-variabel yang dapat diubah (actionable variables).

MENURUT RANDALL B. RIPLEY

Untuk mengukur capaian riel sebuah program/kebijakan, maka dari hasil kajian  evaluasi harus diperoleh jawaban-jawaban atas persoalan berikut ini:

1.      Kelompok dan kepetingan mana yg memiliki akses dalam pembuatan kebijakan?

2. Apakah pembuatan kebijakan dilakukan secara cukup rinci, terbuka dan memenuhi prosedur?
3. Apakah program-program kebijakan didesain secara logis ?
4. Apakah sumber daya yg menjadi input program telah  memadai untuk mencapai tujuan ?
5. Apa standar implementai yang baik bagi kebijakan tsb ?
6. Apakah program dilaksanakan sesuai standar efisiensi ekonomi? Apakah uang digunakan dengan tepat dan jujur?
7. Apakah kelompok sasaran memperoleh pelayanan  seperti yg didesain dalam program ?
8. Apakah program juga memberikan dampak pada kelompok non sasaran? Apa jenis dampaknya ?
9. Apa dampak yg diharapkan dan tak diharapakan pada masyarakat ?
10. Kapan tindakan program dilaksanakan dan dampaknya diterima oleh masyarakat ?
11. Apakah tindakan dan dampak telah sesuai dengan yang diharapkan ?

IMPLIKASI HASIL EVALUASI TERHADAP PROGRAM/KEBIJAKAN

Hasil kajian evaluasi atas sebuah program/kebijakan akan berimplikasi  pada keberlangsungan program/kebijakan termaksud, yang menurut Weis (dalam Shafritz and Hyde, 1987) adalah sebagai berikut:

1. Meneruskan atau mengakhiri program
2. Memperbaiki praktek & prosedur administrasinya
3. Menambah atau mengurangi strategi dan tehnik implementasi
4. Melembagakan program ke tempat lain
5. Mengalokasikan sumber daya ke program lain
6. Menolak atau menerima pendekatan/teori yang digunakan oleh Program/ kebijakan sebagai asumsi