Apa yang dimaksud analisis butir soal secara modern?

ANALISIS BUTIR SOAL

A. Manfaat Kegiatan Analisis Bulir Soal

Kegiatan analisis butir soal memiliki banyak manfaat, di antaranya (1) dapat membantu pengguna tes dalam mengevaluasi kualitas tes yang digunakan, (2) relevan bagi penyusunan tes informal seperti tes yaitu, disiapkan guru untuk siswa di kelas, (3) mendukung penulisan butir soal yang efektif, (4) secara materi dapat memperbaiki tes di kelas, (5) meningkatkan validitas soal dan reliabilitas (Anastasi & Urbina, 1997:1-72).

Nitko (1996:308-309) juga menguraikan manfaat kegiatan analisis butir soal, di antaranya untuk: (1) menentukan apakah suatu fungsi butir soal sesuai dengan yang diharapkan, (2) memberi masukan kepada siswa tentang kemampuan dan sebagai dasar untuk bahan diskusi di kelas, (3) memberi masukan kepada guru tentang kesulitan siswa, (4) memberi masukan pada aspek tertentu untuk pengembangan kurikulum, (5) merevisi materi yang diukur, (6) meningkatkan keterampilan penulisan soal.

Analisis butir soal merupakan suatu kegiatan yang dilakukan untuk meyakinkan bahwa butir-butir soal tersebut bermutu dan memenuhi kriteria yang ditentukan. Analisis butir soal dapat dilakukan baik secara kualitatif maupun kuantitatif

B. Analisis Butir Soal Secara Kualitatif

Pada prinsipnya analisis butir soal secara kualitatif dilaksanakan berdasarkan kaidah penulisan soal (tes tertulis, perbuatan dan sikap). Aspek yang diperhatikan dalam penelaahan secara kualitatif mencakup aspek materi, konstruksi, bahasa atau budaya, dan kunci jawaban atau pedoman penskorannya.

Ada beberapa teknik yang dapat digunakan untuk menganalisis butir soal secara kualitatif, yaitu teknik moderator dan teknik panel.

1. Teknik moderator merupakan teknik berdiskusi yang di dalamnya terdapat satu orang sebagai penengah. Berdasarkan teknik ini, setiap butir soal didiskusikan secara bersama-sama dengan beberapa ahli, seperti guru yang mengajarkan materi, ahli materi, penyusun atau pengembang kurikulum, ahli penilaian, ahli bahasa, dan orang yang memiliki latar belakang psikologi.
2. Teknik panel yakni suatu teknik menelaah butir soal berdasarkan kaidah penulisan butir soal. Kaidah itu di antaranya materi, konstruksi, bahasa atau budaya, kebenaran kunci jawaban atau pedoman penskoran. Caranya beberapa penelaah diberikan butir-butir soal yang akan ditelaah, format penelaahan, dan pedoman penilaian atau penelaahan.

Analisis butir soal secara kualitatif dilakukan dalam rangka meningkatkan validitas, baik validitas tampak (face validity), validitas isi (content validity), maupun validitas konstruk (construct validity). Analisis ini melibatkan ahli bidang studi atau ahli materi dengan pendekatan “expert judgment”. Dengan menggunakan kaidah penulisan soal, setiap butir soal ditelaah apakah telah memenuhi kaidah, baik dari aspek materi, konstruksi, maupun bahasa. Pada prinsipnya, teknik analisis ini dapat diterapkan pada tes constructed response, selected response, tes perbuatan , maupun instrumen non tes.

C. Analisis Butir SoaI Secara Kuantitatif

Penelaahan soal secara kuantitatif adalah penelaahan butir soal didasarkan pada data empirik. Data empirik ini diperoleh dari soal yang telah diujikan. Ada dua pendekatan dalam analisis secara kuantitatif, yaitu pendekatan secara klasik dan modern,

Analisis butir soal secara klasik adalah proses penelaahan butir soal melalui informasi dari jawaban peserta tes guna meningkatkan mutu butir soal yang bersangkutan dengan menggunakan teori tes klasik. Analisis butir secara modern adalah penelaahan butir soal dengan menggunakan teori respons butir atau Item Response Theory (IRT). Teori ini merupakan suatu teori yang menggunakan fungsi matematika untuk menghubungkan antara peluang menjawab benar suatu butir dengan kemampuan siswa.

Aspek yang diperhatikan dalam butir analisis soal secara klasik adalah setiap butir soal ditelaah dari segi: tingkat kesukaran butir, daya pembeda butir, dan penyebaran pilihan jawaban (untuk soal bentuk selected response item) atau frekuensi pada setiap pilihan jawaban. Berikut ini disajikan penjelasan lebih lanjut mengenai beberapa aspek di atas.

1. Tingkat Kesukaran (TK)

Tingkat kesukaran soal adalah peluang menjawab benar suatu soal pada tingkat kemampuan tertentu yang biasanya dinyatakan dalam bentuk indeks. Indeks tingkat kesukaran ini umumnya dinyatakan dalam bentuk proporsi yang besarnya berkisar dari 0 sampai 1 (Aiken, 1994: 66). Semakin besar indeks tingkat kesukaran yang diperoleh dan hasil hitungan, berarti semakin mudah soal itu. Suatu soal memiliki TK= 0 berarti tidak ada siswa yang mampu menjawab benar dan bila memiliki TK= 1 berarti semua siswa menjawab benar. Perhitungan indeks tingkat kesukaran ini dilakukan untuk setiap nomor soal. Pada prinsipnya, skor rata-rata yang diperoleh peserta tes pada butir soal yang bersangkutan dinamakan tingkat kesukaran butir soal itu. Rumus ini dipergunakan untuk soal selected response item, yaitu (Nitko, 1996: 310):

Tingkat Kesukaran (TK) =

Tingkat kesukaran butir soal biasanya dikaitkan dengan tujuan tes. Misalnya, untuk keperluan ujian semester digunakan butir soal yang memiliki tingkat kesukaran sedang, untuk keperluan seleksi digunakan butir soal yang memiliki tingkat kesukaran tinggi atau sukar, dan untuk keperluan diagnostik biasanya digunakan butir soal yang memiliki tingkat kesukaran rendah atau mudah.

Untuk mengetahui tingkat kesukaran soal bentuk constructed response digunakan rumus berikut ini.

Mean =  Jumlah skor siswa tes pada suatu soal/ jumlah peserta didik

Tingkat kesulitan= Mean/ skor maksimum yang ditetapkan.

Klasifikasi tingkat kesukaran soal dapat menggunakan kriteria berikut :

Tingkat kesukaran butir soal dapat mempengaruhi bentuk distribusi total skor tes. Untuk tes yang sangat sukar (TK <_ 0,25) distribusinya berbentuk positif skewed, sedangkan tes yang mudah (TK _> 0,80) distribusinya berbentuk negatif skewed.

Tingkat kesukaran butir soal memiliki dua kegunaan, yaitu untuk guru dan untuk pengujian dan pengajaran (Nitko, 1996: 310313). Kegunaan bagi guru di antaranya: (a) sebagai pengenalan konsep terhadap pembelajaran ulang dan memberi masukan kepada siswa tentang hasil belajar mereka, (b) memperoleh informasi tentang penekanan kurikulum atau mencurigai terhadap butir soal yang bias. Adapun kegunaannya bagi pengujian dan pengajaran adalah: (a) pengenalan konsep yang diperlukan untuk diajarkan ulang, (b) tanda-tanda terhadap kelebihan dan kelemahan pada kurikulum sekolah, (c) memberi masukan kepada siswa, (d) tanda-tanda kemungkinan adanya butir soal yang bias, (e) merakit tes yang memiliki ketepatan data soal.

2. Daya Pembeda (DP)

Daya pembeda soal adalah kemampuan suatu butir soal dapat membedakan antara siswa yang telah menguasai materi yang ditanyakan dan siswa yang belum menguasai materi yang diujikan. Daya pembeda butir soal memiliki manfaat berikut. Pertama, untuk meningkatkan mutu setiap butir soal melalui data empiriknya. Berdasarkan indeks daya pembeda, setiap butir soal dapat diketahui apakah butir soal itu baik, direvisi, atau ditolak.

Kedua, untuk mengetahui seberapa jauh masing-masing butir soal dapat mendeteksi atau membedakan kemampuan siswa, yaitu siswa yang telah memahami atau belum memahami materi yang diajarkan guru. Apabila suatu butir soal tidak dapat membedakan kedua kemampuan siswa itu maka butir soal itu dapat dicurigai kemungkinannya: (a) kunci jawaban butir soal itu tidak tepat, (b) butir soal itu memiliki dua atau lebih kunci jawaban yang benar, (c) kompetensi yang diukur tidak jelas, (d) pengecoh tidak berfungsi, (e) materi yang ditanyakan terlalu sulit sehingga banyak siswa yang menebak, dan (f) sebagian besar siswa yang memahami materi yang ditanyakan berpikir ada yang salah informasi dalam butir soalnya.

Indeks daya pembeda setiap butir soal biasanya dinyatakan dalam bentuk proporsi. Semakin tinggi indeks daya pembeda soal berarti semakin tinggi kemampuan soal yang bersangkutan membedakan siswa yang telah memahami materi dengan siswa yang belum memahami materi. Indeks daya pembeda berkisar antara -1,0Q sampai dengan + 1,00.

Jika daya pembeda negatif (kurang dari 0) berarti lebih banyak kelompok bawah (peserta tes yang tidak memahami materi) menjawab benar soal dibanding dengan kelompok atas (peserta tes yang memahami materi yang diajarkan). Untuk mengetahui daya pembeda soal bentuk selected response dapat digunakan rumus berikut ini. .

 DP = (2BA-BB)/N

DP = daya pembeda soal,

BA = jumlah jawaban benar pada kelompok atas,

BB = jumlah jawaban benar pada kelompok bawah,

N = jumlah siswa yang mengerjakan tes.

Untuk mengetahui daya pembeda soal bentuk constructed response dapat menggunakan rumus berikut ini.

DP =

Hasil perhitungan dengan menggunakan rumus di atas dapat menggambarkan tingkat kemampuan soal dalam membedakan antar peserta tes yang telah memahami materi yang diujikan dan peserta tes yang belum memahami materi yang diujikan. Adapun kriteria yang dapat digunakan adalah sebagai berikut (Cracker & Algina, 1986: 315).

3. Penyebaran (distribusi) jawaban

Penyebaran pilihan jawaban dijadikan dasar dalam penelaahan soal. Hal ini dimaksudkan untuk mengetahui berfungsi tidaknya pilihan jawaban yang tersedia. Suatu pilihan jawaban (pengecoh) dapat dikatakan berfungsi apabila: (1) pengecoh paling tidak dipilih oleh 5 % peserta tes atau siswa, dan (2) pengecoh lebih banyak dipilih oleh kelompok siswa yang belum memahami materi yang diujikan.

4. Reliabilitas Skor Tes

Tujuan utama menghitung reliabilitas skor tes adalah untuk mengetahui tingkat ketepatan (precision) dan keajegan (consistency) skor tes. Indeks reliabilitas berkisar antara 0 sampai dengan 1. Semakin tinggi koefisien reliabilitas suatu tes (mendekati 1), semakin tinggi pula keajegan atau ketepatan nya.

Faktor yang mempengaruhi reliabilitas skor tes di antaranya: (1) semakin banyak jumlah butir soal, semakin ajek suatu tes, (2) semakin lama waktu tes, semakin ajek, (3) semakin sempit range kesukaran butir soal, semakin besar keajekan, (4) soal-soal yang saling berhubungan akan mengurangi keajekan, dan (5) semakin objektif dalam pemberian skor, semakin besar keajekan.

Analisis butir soal secara kuantitatif dilakukan setelah diperoleh data empiris hasil ujicoba lapangan (field tria0 terhadap sejumlah responden. Analisis ini mencakup tingkat kesukaran butir, daya pembeda butir, dan penyebaran pilihan jawaban atau frekuensi jawaban pada setiap pilihan jawaban. Untuk jumlah butir dan jumlah responden yang terbatas, penghitungan dapat dilakukan secara manual atau dengari menggunakan kalkulator. Namun demikian, untuk kepentingan yang lebih luas, telah tersedia berbagai perangkat lunak (software) komputer yang dapat membantu kita dalam melakukan analisis butir soal, seperti ITEMAN, RASCAL, ASCAL, BILOG, FACETS, dan sebagainya.

Baca juga tentang Tips Penulisan Butir Soal dan Validitas dan Reliabilitas Tes