Analisis Butir Soal

Analisis Butir Soal merupakan proses pengumpulan, peringkasan, dam penggunaan informasi dari jawaban siswa untuk membuat keputusan tentang setiap penilaian. Nitko (Purnomo : 2010) Kegiatan ini bertujuan untuk membantu meningkatkan tes melalui revisi atau membuang soal yang tidak efektif, serta untuk mengatahui secara diagnostik pada siswa apakah soal mereka sudah/belum memahami materi yang telah diajarkan Aiken (Purnomo : 2010) tujuan utama analisis butir soal dalam sebuah tes adalah untuk mengidentifikasi kekurangan-kekurangan dalam tes atau dalam pembelajaran (Purnomo : 2010)

Secara garis besar instrument penelitian dibagi menjadi dua yaitu tes dan non-tes, dalam menganalisi butir soal ini artinya yang akan dianalisis disini adalah tes, tes tersebut yaitu IST (Intellegence Structure Test) dari no 1 sampai no 20, tipe tes ini adalah tes objektif multiple choice (pilihan ganda), dalam pemeriksaan tes tipe objektif tidak ada factor lain yang mempengaruhi proses pemeriksaan dan hasil akhir berupa skor yang akan diperoleh testi. Analisis soal dilakukan untuk mengetahui berfungsi tidaknya sebuah soal. Analisis pada umumnya dilakukan melalui dua cara, yaitu analisis kualitatif (qualitative control) dan analisis kuantitatif (quantitative control). Analisis kualitatif sering pula dinamakan sebagai validitas logis (logical validity) yang dilakukan sebelum soal digunakan. Gunanya untuk melihat berfungsi tidaknya sebuah soal. Analisis soal secara kuantitatif sering pula dinamakan sebagai validitas empiris (empirical validity) yang dilakukan untuk melihat lebih berfungsi tidaknya sebuah soal setelah soal itu diujicobakan kepada sampel yang representatif.

Salah satu tujuan dilakukannya analisis adalah untuk meningkatkan kualitas soal, yaitu apakah suatu soal (1) dapat diterima karena telah didukung oleh data statistic yang memadai, (2) diperbaiki, karena terbukti terdapat beberapa kelemahan, atau bahkan (3) tidak digunakan sama sekali karena terbukti secara empiris tidak berfungsi sama sekali.

Analisis Kualitatif. Yaitu berupa penelaahan yang dimaksudkan untuk menganalisis soal ditinjau dari segi teknis, isi, dan editorial. Analisis secara teknis dimaksudkan sebagai penelaahan soal berdasarkan prinsip-prinsip pengukuran dan format penulisan soal. Analisis secara isi dimaksudkan sebagai penelaahan khusus yang berkaitan dengan kelayakan pengetahuan yang ditanyakan. Analisis secara editorial dimaksudkan sebagai penelaahan yang khususnya berkaitan dengan keseluruhan format dan keajegan editorial dari soal yang satu ke soal yang lainnya.

Analisis kualitatif lainnya dapat juga dikategorikan dari segi materi, konstruksi, dan bahasa. Analisis materi dimaksudkan sebagai penelaahan yang berkaitan dengan substansi keilmuan yang ditanyakan dalam soal serta tingkat kemampuan yang sesuai dengan soal. Analisis konstruksi dimaksudkan sebagai penelaahan yang umumnya berkaitan dengan teknik penulisan soal. Analisis bahasa dimaksudkan sebagai penelaahan soal yang berkaitan dengan penggunaan bahasa Indonesia yang baik dan benar menurut EYD.

Analisis Kuantitatif. Digunakan untuk mengetahui sejauh mana soal dapat membedakan antara peserta tes yang kemampuannya tinggi dalam hal yang didefinisikan oleh kriteria dengan peserta tes yang kemampuannya rendah (melalui analisis statistik).

Analisis soal secara kuantitatif menekankan pada analisis karakteristik internal tes melalui data yang diperoleh secara empiris. Karakteristik internal secara kuantitatif dimaksudkan meliputi parameter soal tingkat kesukaran, daya pembeda, dan reliabilitas. Khusus soal-soal pilihan ganda, dua tambahan parameter yaitu dilihat dari peluang untuk menebak atau menjawab soal dengan benar dan berfungsi tidaknya pilihan jawaban, yaitu penyebaran semua alternatif jawaban dari subyek-subyek yang dites.

A.    Reliabilitas

Reliabilaitas adalah tingkat ketetapan suatu instrumen mengukur apa yang harus diukur atau konsistensi dari serangkaian pengukuran atau serangkaian alat ukur. Hal tersebut bisa berupa pengukuran dari alat ukur yang sama (tes dengan tes ulang) akan memberikan hasil yang sama, atau untuk pengukuran yang lebih subjektif, apakah dua orang penilai memberikan skor yang mirip (reliabilitas antar penilai). Ada tiga cara pelaksanaan untuk menguji reliabilitas suatu tes, yaitu: (1) tes tunggal (single test), (2) tes ulang (test retest), dan (3) tes ekuivalen (alternate test). Namun uji reliabilitas disini adalah untuk memprediksi skor yang diperoleh pada tes selanjutnya berdasarkan tes yang sebelumnya telah dilakukan, untuk memprediksi hal ini dihitung menggunakan rumus Standar Error of Measurement (SEM).

Standar Error of Measurement (SEM) adalah sebuah perkiraan kesalahan untuk digunakan dalam menafsirkan skor tes individu, dengan menggunakan koefisien reliabilitas dan standar deviasi tes, kita dapat menghitung nilai ini dengan rumus :

SEM = St

	r xy = Korelasi antara skor genap dan skor ganjil St= Standar Deviasi r tt =

Setelah diperoleh skor SEM, kemudian untuk menentukan perkiraan jumlah skor yang akan diperoleh siswa pada tes selanjutnya yaitu dengan menghitung rata-rata skor total (Mt) dikurangi SEM dan rata-rata skor total (Mt)  ditambah SEM (Mt-SEMà Mt+SEM)

untuk nilai pada sampel dengan error berdistribusi normal bias, di atas menggambarkan proporsi sampel yang akan jatuh antara 0, 1, 2, dan 3 standar deviasi di atas dan di bawah nilai sebenarnya.

B.     Validitas

Validitas suatu instrumen menunjukkan tingkat ketepatan suatu instrument untuk mengukur apa yang harus diukur. Jadi validitas suatu instrumen berhubungan dengan  tingkat akurasi dari suatu alat ukur mengukur apa yang akan diukur. Validitas ada 2 macam, yaitu validitas logis dan validitas empiris. Validitas logis adalah validitas diperoleh atas dasar hasil pemikiran berfikir logis melalui proses penganalisaan secara rasional dengan tepat mengukur apa yang seharusnya diukur. Sudijono: (Khotib : 2011). Sedangkan menurut Arikunto (Khotib : 2011). Validitas logis sebuah instrumen menunjuk kepada kondisi bagi sebuah instrumen yang memenuhi persyaratan valid berdasarkan hasil penalaran.

1.      Validitas Logis.

Validitas logis terdiri dari dua macam, yaitu validitas isi (content validity) dan Validitas Konstrak (Construct Validity). Validitas isi dari suatu tes hasil belajar adalah validitas yang diperoleh setelah dilakukan penganalisaan, penelusuran atau pengujian terhadap isi yang terkandung dalam tes hasil belajar tersebut. Sukardi (2008: 32) validitas isi adalah derajat dimana sebuah tes evaluasi mengukur cakupan substansi yang ingin diukur. Sedangkan Validitas konstrak adalah soal yang dibuat dapat mengukur setiap aspek berfikir yang ada pada standar isi atau pemetaan standar isi dengan merinci atau memasangkan setiap butir soal dengan setiap aspek pada standar isi.

2.      Validitas Empiris

Menurut Arikunto (2009: 66) validitas empiris adalah validitas yang diperoleh berdasarkan pengalaman dengan cara diujikan. Sedangkan menurut Sudijono (2008: 167) validitas empiris adalah ketepatan mengukur yang didasarkan pada hasil analisis yang bersifat empirik.
Ada empat macam validitas empiris, diantaranya: validitas butir, validitas keseluruhan, validitas, validitas ada sekarang dan validitas prediktif.

3.      Validitas Butir

Sebuah butir memiliki validitas tinggi jika skor butir memiliki kesejajaran dengan skor total artinya memiliki korelasi yang baik (Arikunto, 2009: 76). Validitas ini ditentukan dengan membandingkan antara skor butir dengan skor total. untuk menghitung validitas butir digunakan rumus product moment dan koefisien korelasi biserial (γ_pbi).

Rumus Product Moment dengan Simpangan

Keterangan:
r_xy = Koefisien korelasi antara variabel x dan variabel y. dua variabel yang dikorelasikan (x=X-X ̅ dan y=Y-Y ̅)

∑xy = Jumlah perkalian x dan y

x2 = kuadrat dari x

y2 = kuadrat dari y

Rumus Product Moment Angka Kasar

Keterangan:
rxy = Koefisien korelasi

∑X = Jumlah skor butir

∑Y = Jumlah skor total

N = Jumlah sampel

Rumus Korelasi rpbis

Keterangan:
γ_pbi = koefisien korelasi biserial

M_p = rerata skor dari subjek yang menjawab betul bagi butir yang dicari validitasnya

M_t = rerata skor total

S_t = standar deviasi dari skor total

p = proporsi peserta didik yang menjawab benar

q = proporsi peserta didik yang menjawab salah (q=1-p)

Perhitungan validitas butir dilakukan dengan membandingkan skor butir dengan skor total menggunakan ketiga rumus di atas.

C.    Daya Pembeda (DP)

Daya pembeda soal adalah kemampuan suatu butir soal dapat membedakan antara siswa yang telah menguasai materi yang ditanyakan dan warga siswa yang tidak/kurang/belum menguasai materi yang ditanyakan (Burhandin : 2011) http://hilmanburhanudin.blogspot.com/2011/04/rumus-daya-pembeda-dan-tingkat.html. Manfaat daya pembeda butir soal adalah seperti berikut ini :

1.      Untuk meningkatkan mutu setiap butir soal melalui data empiriknya. Berdasarkan indeks daya pembeda, setiap butir soal dapat diketahui apakah butir soal itu baik, direvisi, atau ditolak.

2.      Untuk mengetahui seberapa jauh setiap butir soal dapat mendeteksi/membedakan kemampuan siswa, yaitu siswa yang telah memahami atau belum memahami materi yang diajarkan guru. Apabila suatu butir soal tidak dapat membedakan kedua kemampuan siswa itu, maka butir soal itu dapat dicurigai "kemungkinannya" seperti berikut ini.

a.       Kunci jawaban butir soal itu tidak tepat.

b.      Butir soal itu memiliki 2 atau lebih kunci jawaban yang benar

c.       Kompetensi yang diukur tidak jelas

d.      Pengecoh tidak berfungsi

e.       Materi yang ditanyakan terlalu sulit, schingga banyak siswa yang menebak

f.       Sebagian besar siswa yang memahami materi yang ditanyakan berpikir ada yang salah informasi dalam butir soalnya

Indeks daya pembeda setiap butir soal biasanya juga dinyatakan dalam bentuk proporsi. Semakin tinggi indeks daya pembeda soal berarti semakin mampu soal yang bersangkutan membedakan siswa yang telah memahami materi dengan siswa yang belum memahami materi. Indeks daya pembeda berkisar antara -1,00 sampai dengan +1,00. Semakin tinggi daya pembeda suatu soal, maka semakin kuat/baik soal itu. Jika daya pembeda negatif (<0) berarti lebih banyak kelompok bawah (siswa yang tidak memahami materi) menjawab benar soal dibanding dengan kelompok atas (siswa yang memahami materi yang diajarkan guru).

Untuk mengetahui daya pembeda soal bentuk pilihan ganda adalah dengan menggunakan rumus berikut ini.

DPP == daya pembeda soal,

BA = jumlah jawaban benar pada kelompok atas,

BB = jumlah jawaban benar pada kelompok bawah,

N  =jumlah siswa yang mengerjakan tes.

Hasil perhitungan dengan menggunakan rumus di atas dapat menggambarkan tingkat kemampuan soal dalam membedakan antar peserta didik yang sudah memahami materi yang diujikan dengan peserta didik yang belum/tidak memahami materi yang diujikan. Adapun klasifikasinya adalah seperti berikut ini (Crocker dan Algina, 1986: 315).

0,40 - 1,00    soal diterima baik

0,30 - 0,39    soal diterima tetapi perlu diperbaiki

0,20 - 0,29    soal diperbaiki

Untuk mengetahui keberartian daya pembeda soal dilakukan dengan statistik uji-t, dengan persamaan berikut.

   

    (Subino dalam sunardi, 2003: 27)                 

dengan  t merupakan Indeks Daya Pembeda (DP) antara kemampuan kelompok atas dengan kemampuan kelompok bawah, Xa merupakan  skor rata-rata tiap item tes kelompok atas, Xb  adalah  skor rata-rata tiap item tes kelompok bawah,  Sa  adalah standar deviasi tiap item tes kelompok atas,  Sb  merupakan  standar deviasi tiap item tes kelompok bawah,  Na  adalah  jumlah siswa kelompok atas, dan   Nb   adalah jumlah siswa kelompok bawah. Harga thitung yang dihasilkan dibandingkan dengan dengan harga t tabel dengan dk = (Na  –1)+(Nb  – 1) pada taraf kepercayaan 95%. Jika thitung > t tabel maka daya pembeda untuk soal tersebut adalah signifikan.

Persamaan lain yang dapat digunakan untuk menentukan daya pembeda  yaitu :

                                                               (Karno To, 1996:15)

∑ Bu = jumlah yang benar pada kelompok Unggul

∑ BA = jumlah yang benar pada kelompok Asor

Nu = Jumlah total pada kelompok Unggul

NA = Jumlah total pada kelompok Asor

Langkah pertama yaitu menentukan siswa yang tergolong dalam kelompok Unggul dan siswa yang tergolong dalam kelompok Asor dengan menngunkan perkiraan 27 % - 33 % dari jumlah total siswa

Hasil perhitungan dengan menggunakan rumus di atas dapat menggambarkan tingkat kemampuan soal dalam membedakan antar peserta didik yang sudah memahami materi yang diujikan dengan peserta didik yang belum/tidak memahami materi yang diujikan. Adapun criteria tiap soal adalah sebagai berikut :

Negative – 9%            = sangat buruk (dibuang)

10% - 19%      = buruk (sebaiknya dibuang)

20% - 29%      = agak baik (revisi)

30% - 49%      = baik

50% keatas      = sangat baik

Disamping rumus tersebut, untuk mengetahui daya pembeda soal bentuk pilihan ganda dapat dipergunakan rumus korelasi point biseral ( r pbis) dan korelasi biseral (r bis), sebagai berikut :

Keterangan:
γ_pbi = koefisien korelasi biserial

M_p = rerata skor dari subjek yang menjawab betul bagi butir yang dicari validitasnya

M_t = rerata skor total

S_t = standar deviasi dari skor total

p = proporsi peserta didik yang menjawab benar

q = proporsi peserta didik yang menjawab salah (q=1-p)

Melalui rumus ini dapat diperoleh dua pembeda antara soal yang memiliki validitas butir soal yang signifikan dan validitas butir soal yang tidak signifikan, signifikan atau tidanya sebuah soal dapat diperoleh dari menghitung t hitung dan t tabel, suatu soal dikatakan signifikan jika t hitung lebih besar dari t tabel (t hitung > t tabel)

t hitung disini adalah tingkat kebaikan soal (r pbis) dan t tabel diperoleh dari tabel D. Significant Vaces of  r, R and t, dengan dk = n-2, n adalah jumlah siswa yang menjawab benar pada suatu soal.

D.    Tingkat Kesukaran

Tingkat kesukaran soal adalah peluang untuk menjawab benar suatu soal pada tingkat kemampuan tertentu yang biasanya dinyatakan dalam bentuk indeks. Indeks tingkat kesukaran ini pada umumnya dinyatakan dalam bentuk proporsi yang besarnya berkisar 0,00 - 1,00 (Aiken (1994: 66). Semakin besar indeks tingkat kesukaran yang diperoleh dari hasil hitungan, berarti semakin mudah soal itu. Suatu soal memiliki TK= 0,00 artinya bahwa tidak ada siswa yang menjawab benar dan bila memiliki TK= 1,00 artinya bahwa siswa menjawab benar. Perhitungan indeks tingkat kesukaran ini dilakukan untuk setiap nomor soal. Pada prinsipnya, skor rata-rata yang diperoleh peserta didik pada butir soal yang bersangkutan dinamakan tingkat kesukaran butir soal itu.  Rumus ini dipergunakan untuk soal obyektif. Rumusnya adalah seperti berikut ini Nitko, Mustikasari : 2008).

Fungsi tingkat kesukaran butir soal biasanya dikaitkan dengan tujuan tes. Misalnya untuk keperluan ujian semester digunakan butir soal yang memiliki tingkat kesukaran sedang, untuk keperluan seleksi digunakan butir soal yang memiliki tingkat kesukaran tinggi/sukar, dan untuk keperluan diagnostik biasanya digunakan butir soal yang memiliki tingkat kesukaran rendah/mudah.

Hasil perhitungan dengan menggunakan rumus di atas menggambarkan tingkat kesukaran soal itu. Klasifikasi tingkat kesukaran soal dapat dicontohkan seperti berikut ini. Arikunto (Mustikasari: 2008)

0,00 - 0,30 soal tergolong sukar

0,31 - 0,70 soal tergolong sedang

0,71 - 1,00 soal tergolong mudah

Tingkat kesukaran butir soal dapat mempengaruhi bentuk distribusi total skor tes. Untuk tes yang sangat sukar (TK= < 0,25) distribusinya berbentuk positif skewed, sedangkan tes yang mudah dengan TK= >0,80) distribusinya berbentuk negatif skewed.

Tingkat kesukaran butir soal memiliki 2 kegunaan, yaitu kegunaan bagi guru dan kegunaan bagi pengujian dan pengajaran. Kegunaannya bagi guru adalah: (1) sebagai pengenalan konsep terhadap pembelajaran ulang dan memberi masukan kepada siswa tentang hasil belajar mereka, (2) memperoleh informasi tentang penekanan kurikulum atau mencurigai terhadap butir soal yang bias. Adapun kegunaannya bagi pengujian dan pengajaran adalah: (a) pengenalan konsep yang diperlukan untuk diajarkan ulang, (b) tanda-tanda terhadap kelebihan dan kelemahan pada kurikulum sekolah, (c) memberi masukan kepada siswa, (d) tanda-tanda kemungkinan adanya butir soal yang bias, (e) merakit tes yang memiliki ketepatan data soal.

Di samping kedua kegunaan di atas, dalam konstruksi tes, tingkat kesukaran butir soal sangat penting karena tingkat kesukaran butir dapat: (1) mempengaruhi karakteristik distribusi skor (mempengaruhi bentuk dan penyebaran skor tes atau jumlah soal dan korelasi antarsoal), (2) berhubungan dengan reliabilitas. Menurut koefisien alfa clan KR-20, semakin tinggi korelasi antar soal, semakin tinggi reliabilitas.

Tingkat kesukaran butir soal juga dapat digunakan untuk mempredikst alat ukur itu sendiri (soal) dan kemampuan peserta didik dalam memahami materi yang diajarkan guru. Misalnya satu butir soal termasuk kategori mudah, maka prediksi terhadap informasi ini adalah seperti berikut.

1.      Pengecoh butir soal itu tidak berfungsi.

2.      Sebagian besar siswa menjawab benar butir soal itu; artinya bahwa sebagian besar siswa telah memahami materi yang ditanyakan.

Bila suatu butir soal termasuk kategori sukar, maka prediksi terhadap informasi ini adalah seperti berikut.

1.      Butir soal itu "mungkin" salah kunci jawaban.

2.      Butir soal itu mempunyai 2 atau lebih jawaban yang benar.

3.      Materi yang ditanyakan belum diajarkan atau belum tuntas pembelajarannya, sehingga kompetensi minimum yang harus dikuasai siswa belum tercapai.

4.      Materi yang diukur tidak cocok ditanyakan dengan menggunakan bentuk soal yang diberikan (misalnya meringkas cerita atau mengarang ditanyakan dalam bentuk pilihan ganda).

5.      Pernyataan atau kalimat soal terlalu kompleks dan panjang.

Namun, analisis secara klasik ini memang memiliki keterbatasan, yaitu bahwa tingkat kesukaran sangat sulit untuk mengestimasi secara tepat karena estimasi tingkat kesukaran dibiaskan oleh sampel (Haladyna, 1994: 145). Jika sampel berkemampuan tinggi, maka soal akan sangat mudah (TK= >0,90). Jika sampel berkemampuan rendah, maka soal akan sangat sulit (TK = < 0,40). Oleh karena itu memang merupakan kelebihan analisis secara IRT, karena 1RT dapat mengestimasi tingkat kesukaran soal tanpa menentukan siapa peserta tesnya (invariance). Dalam IRT, komposisi sampel dapat mengestimasi parameter dan tingkat kesukaran soal tanpa bias

Rumus lain yang digunakan untuk menentukan tingkat kesukaran soal uraian sama dengan soal pilihan ganda yaitu :

,

Langkah pertama yaitu menentukan siswa yang tergolong dalam kelompok Unggul dan siswa yang tergolong dalam kelompok Asor dengan menngunkan perkiraan 27 % - 33 % dari jumlah total siswa. Langkah kedua yaitu mencari ∑ Bu dan ∑ BA. Langkah ketiga setelah indeks tingkat kesukaran diperoleh,  maka harga indeks kesukaran tersebut diinterpretasikan pada kriteria sesuai tabel  berikut:

0 – 15 % Sangat sukar, sebaiknya dibuang

16 % – 30 %  Sukar

31 % – 70 % Sedang

71 % – 85 % Mudah

86 % – 100 % Sangat mudah, sebaiknya di buang

http://file.upi.edu/Direktori/FPMIPA/JUR._PEND._FISIKA/IKA_MUSTIKA_SARI/EVALUASI_PENDIDIKAN/BAHAN_AJAR_(MINGGU_KE_13)_ANALISIS_INSTRUMEN_(TK-DP-ANALISIS_PENGECOH).pdf (Karno To, 1996:15)

E.     Anlisis Pengecoh (Distraktor)

Menganalisis fungsi pengecoh (distractor) dikenal dengan istilah menganalisis pola penyebaran jawaban butir soal pada soal bentuk pilihan ganda. Pola tersebut diperoleh dengan menghitung banyaknya testee yang memilih pilihan jawaban butir soal atau yang tidak memilih pilihan manapun (blangko). Dari pola penyebaran jawaban butir soal  dapat ditentukan apakah pengecoh berfungsi dengan baik atau tidak. Suatu pengecoh dapat dikatakan berfungsi dengan baik jika paling sedikit dipilih oleh 5 % pengikut tes. Cara melakukan analisis pengecoh :

Pertimbangan terhadap analisis pengecoh:

1.      Diterima, karena sudah baik

2.      Ditolak, karena tidak baik

3.      Ditulis kembali, karena kurang baik

Sebuah pengecoh dikatakan berfungsi baik jika paling sedikit dipilih

oleh 5% pengikut tes.

Indeks pengecoh dihitung dengan rumus:

 

Dengan:

IPc  = Indeks Pengecoh/Distraktor

nPc = Jumlah siswa yang memilih pengecoh itu

N    = Jumlah seluruh subyek yang ikut tes

nB  = Jumlah Subyek yang menjawab benar pada butir soal itu

Alt  = Banyak alternatif jawaban/option (3, 4, atau 5)

Menggunakan rumus ini diawali dengan menghitung satu persatu soal hingga mendapatkan criteria pada tiap item pilihan jawaban di setiap soal. Soal yang diuji berjumlah 20 dengan 5 pilihan jawaban (a, b, c, d, dan e), yang harus diketahui terlebih dahulu adalah skor pada jawaban a, b, c, d, dan e pada tiap soal melalui rumus Ipc sebagai acuan dalam mengelompokkan criteria pengecoh tertentu.

Klasifikasi pengecoh berdasarkan Indeks Pengecoh:

Sangat baik     : IPc = 76% - 125% (mendekati 100%)

Baik                 : IPc = 51% -  75% atau 126% - 150%

Kurang baik    : IPc = 26%  - 50% atau 151% - 175%

Buruk              : IPc =   0% -  25% atau 176% - 200%

Sangat buruk   : IPc = lebih dari 200%

Bila semua subyek menjawab benar pada butir soal tertentu (semua sesuai kunci), maka IPc = 0, artinya buruk (semua pengecoh tidak berfungsi). Yang ideal pengecoh dipilih secara merata, artinya semua pengecoh secara merata ikut mengecoh siswa