Hubungan Validitas dan Reliabilitas Tes
Hubungan Validitas dan Reliabilitas Tes
PENGUKURAN
Dikembangkan & Ditambahkan oleh : Dr. Weni Endahing Warni, [Link]., Psikolog
Fakultas Psikologi Universitas Hang Tuah
“one of the major deities in the pantheon of
the psychometrician...”
(Ebel, 1961, p. 640)
"Salah satu dewa utama di jajaran psikometri ..."
(Ebel, 1961, p. 640)
3 C:
1. Content-related evidence of validity
2. Criterion-related evidence of validity
3. Construct-related evidence of validity
1999 -
“Modern Theory of Validity”
Interview
Interpretasi/
Construct Asesmen
Alat Ukur Hasil/Skor
Penggunaan
Validitas
Dukungan Teori
dan
Bukti-bukti ilmiah
Beberapa Kutipan:
“… involves an evaluation of the overall plausibility of a
proposed interpretation or use of test scores (Kane, 2003)
It is the interpretation of test scores required by proposed
uses that are evaluated, not the test itself” (Standard, 1999)
“ … is a matter of degree rather than all or none” (Linn,
2008)
“ … requires multiple lines of evidence” (Sireci, 2008)
Evidence based
Evidence based
on the
on Response
Consequences
Processes
of Testing
Validitas
Evidence Evidence
Validitas
Concurrent validity
Evidence
based on Evidence
Relations to Based on
Evidence Evidence
based on based on
relationship Cognitive
with criteria Processes
Validitas
Evidence
based on
Evidence
Relationship
based on
with
Response
conceptually
Processes
related
construct
Evidence
Based on
Internal
Structure
1954-1984 1985-1999
Evidence
based on
Test
Content
Evidence Evidence
Evidence based on
based on
based on Test
relationsh Content
Cognitive
ip with
Processes
criteria
Evidence
based on Evidence
Validitas the
Conseque
based on
Response
nces of Processes
Testing
Evidence
based on
Validitas
Evidence
Relationship
based on
with
conceptuall Response
y related Processes
construct
Evidence
Evidence based on Evidence
Relations Based on
Based on Internal
to Other
Internal Variables Structure
Structure
2014 1999
I. Evidence Based on Test Content
(Evidensi Terkait Isi Tes) – (1)
Penelaahan mengenai sejauh mana isi/ content dari
tes merepresentasikan construct yang diukur
Prosedur:
Logical Analysis, dan Expert Review terhadap
Representativeness isi tes (test spec/ blue print)
Kesesuaian isi tes dengan definsi construct
Relevansi, tingkat kepentingan. clarity, dan bias
dari item
Evidence Based on Test Content
(Evidensi Terkait Isi Tes) – (2)
Kesesuaian antara isi tes dan konstruk yang diukur
Konstruk = sifat/ kemampuan/ atribut psikologis yang
tidak teramati secara langsung dan hanya bisa
diinferensikan berdasarkan tingkah laku teramati
yang dipandang sebagai indikatornya (Supratiknya,
2014).
Evidence Based on Test Content
(Evidensi Terkait Isi Tes) – (3)
Diperoleh melalui penilaian pakar/ ahli terhadap kesesuaian antara
bagian-bagian tes yang perlu dievaluasi meliputi:
(1) Sufficiency/ kecukupan;
(2) Clarity/ kejelasan;
(3) Relevance/ relevansi;
(4) Kesesuaian item & tugas yang dipakai stimulus dalam tes
dengan definisi konstruk yang hendak diukur;
(5) Ada tidaknya bias berupa keberpihakan isi tes pada gender,
budaya, umur, atau faktor pengelompokan sosial lain
(6) Kemungkinan terjadinya konstruk “irrelevant variance”
Evidence Based on Test Content
(Evidensi Terkait Isi Tes) – (4)
Ranah isi konstruk sasaran pengukuran diidentifikasikan dengan
bantuan 3 instrumen, yaitu:
1. Menyusun tes plan, Tabel Spesifikasi, Kisi-kisi
2. Melakukan Eksplikasi Konstruk (Abstrak menjado Kongkret/
Operasional)
1) Perumusan definisi konseptual konstruk
2) Merumuskan definisi operasional konstruk menjabarkan
konstruk sebagai konsep ke dalam serangkaian sub konsep/
komponen, serta mengidentifikasi indikator perilaku favorabel/
unfavorabel
3. Melakukan Analisis Tugas untuk melihat perilaku kompleks
menjadi komponen pokok perilaku yang menjadi sasaran
pengukuran
II. Evidence Based on Cognitive Processes
Penelaahan Spesifikasi Tes /Kisi-kisi sebagai indikasi
mengenai sejauh mana setiap butir soal menjaring capaian
pembelajaran yang diharapkan
Misalnya akan mengukur memori yang merupakan bagian
dari tes kecerdasan/ intelegensi, maka ketika membuat alat
ukur tersebut, harus dapat membuktikan bahwa melibatkan
kognitif proses
Tes bangun kubus pada subtes WU IST ketika memutar,
membalik kubus untuk mencari kubus yang sama harus,
membayangkan kubus tersebut dalam ruang 3 dimensi
melibatkan proses kognitif diceitakan
Hanya untuk tes yang melibatkan kognitif, tes kognitif.
III. Evidence Based on Response Process
Evidensi Terkait Proses Respon Subyek – (1)
Penelaahan mengenai sejauh mana proses untuk menjawab item-item dalam tes
sesuai dengan definisi construct yang hendak diukur.
Dalam konsep lama evidensi ini dikaitkan dengan aspek validitas konstruk
Contoh, dalam mengerjakan typical performance test, apakah mesti sungguh2
menyatakan keadaan dirinya sebagai cerminan konstruk yang diukur/ sekedar
memberi jawaban sesuai norma yang berlaku di masyarakat response set of
social desirability
Prosedur:
Interview wawancara testi untuk mengetahui alasan jawaban tertentu terhadap
pertanyaan dalam tes
Observasi mengobservasi testi saat mengerjakan tes
Thinking aloud protocol
III. Evidence Based on Response Process
Evidensi Terkait Proses Respon Subyek – (2)
Klein (1986), kecenderungan respon lain yang dapat
merugikan validitas hasil pengukuran mencakup:
1. Response set of acquiescence kecenderungan
menyetujui item tanpa menghiraukan isinya
2. Response set of using uncertain or middle category
kecenserungan memilih jawaban tengah yang
mencerminkan indecision atau enggan menunjukkan
sikap/ uncertainty/ sikap ragu-ragu/ sikap tidak tegas
3. Response set of using the extreme response
kecenderungan memilih jawaban ekstrim, positif,
negative tanpa menghiraukan isi itemnya
4. Guessing kecenderungan menebak
IV. Evidence Based on Internal Structure
Evidensi terkait Struktur Internal Tes – (1)
Penelaahan mengenai sejauh mana komponen-komponen internal dalam
tes sesuai dengan definisi construct yang hendak diukur
Terkait dengan konsistensi internal atau homogenitas tes, bila tinggi
menunjukkan evidensi yang kuat bahwa tes tersebut mengukur sebuah
konstruk. sesuai maksud penyusun tes.
Jenis evidensi terkait struktur internal tes ini dikaitkan dengan salah satu
aspek validitas konstruk.
Prosedur:
Analisis faktor: Confirmatory Factor Analysis
Analisis cluster
Analisis hubungan antar item
DIF Study memeriksa kemungkinan terjadinya bias item sebagai
evidensi lain invaliditas
V. Evidence based on Relationship
with conceptually related construct
Penelahaan sejauh mana hasil yang diperoleh
berhubungan dengan hasil lain yang merupakan
nomological network dari construct yang diukur.
Prosedur:
Korelasi dengan kriteria eksternal (concurrent maupun
predictive)
Analisis perbedaan kelompok
Convergent and discriminant validity studies
MTMM
Studi-studi eksperimental maupun korelasional
berdasarkan nomological network construct yang diukur
VI. Evidence based on Relationship with Criteria
Evidensi terkait Hubungan antara Tes dan Tes Lain – (1)
Penelahaan sejauh mana skor yang diperoleh berhubungan atau tidak
berhubungan dengan skor lain yang dipergunakan sebagai kriteria
menganalisis hubungan antara skor tes dan variabel-variabel lain diluar tes itu
sendiri.
Dalam pengertian lama jenis evidensi ini dikaitkan dengan criterion related
validity atau validitas terkait kriteria/ validitas kriteria, aspek validitas konstruk.
Prosedur:
Korelasi dengan kriteria eksternal (concurrent maupun predictive)
Analisis perbedaan kelompok
Convergent and discriminant validity studies
MTMM
Studi-studi eksperimental maupun korelasional berdasarkan nomological
network construct yang diukur
Faktor-faktor yang mempengaruhi
validitas
Construct underrepresentation kurang memadai
mewakili konstruk yang hendak diukur,
Construct irrelevance konstruk tidak relevan
Validitas
mempermasalahkan kesesuaian
antara konsep dan kenyataan empiris
Reliabilitas
kesesuaian hasil-hasil pengukuran di
tingkat kenyataan empiris
Karena itu valid pasti reliable, tapi tidak
sebaliknya
Pengukuran
Pengukuran aspek psikologis sukar dilakukan
karena :
1. Variabel psikologis bersifat latent (tidak tampak) tidak
dapat diukur secara langsung tetapi melalui indikator
perilaku
2. Indikator perilaku jumlahnya terbatas pengukuran
kurang menyeluruh (kurang komprehensif)
3. Respon subjek dapat dipengaruhi variabel-variabel yang
tidak relevan, misalnya situasi, suasana hati, prosedur
4. Atribut psikologis tidak stabil (berubah- ubah)
5. Selalu mengandung error (tidak mutlak)
Pengukuran
Beberapa cara yang dapat dilakukan
untuk melakukan pengukuran psikologis
antara lain :
1. Observasi perilaku
2. Pertanyaan langsung
3. Skala
Skala Psikologi Sebagai Alat Ukur
Skala Psikologi adalah Karakteristik skala psikologis :
Kumpulan aitem/ 1. Stimulusnya tidak langsung
mengungkap atribut yang
pernyataan yang hendak diukur, melainkan
mengungkap variabel mengungkap indikator
psikologis perilaku atribut tersebut
bersifat proyektif
2. Berisi banyak aitem.
Kesimpulan baru dapat
dicapai bila semua aitem
telah terjawab
3. Respon subjek tidak ada
benar atau salah
Angket Skala
1. Mengungkap data 1. Mengungkap konstruk
faktual atau kebenaran psikologis
yang diketahui subjek 2. Pertanyaannya tertuju
2. Langsung terarah pada pada indikator perilaku
data yang akan 3. Subjek tidak menyadari
diungkap arah jawaban
3. Subjek tahu persis apa 4. Jawaban diberi skor
yang ditanyakan lewat proses penskalaan
4. Jawaban tidak dapat 5. Mengungkap suatu
diberi skor atribut tunggal
5. Dapat mengungkap 6. Validitas & reliabilitas
banyak hal diuji secara psikometrik
6. Validitas & reliabilitas
tidak perlu diuji
Faktor-faktor yang dapat
melemahkan validitas
Identifikasi kawasan ukur yang tidak cukup jelas
konsep teoretis (beserta dimensi-dimensinya)
Operasionalisasi konsep yang tidak tepat (indikator
dari konsep teoretis)
Penulisan aitem yang tidak mengikuti kaidah
social desirability
Administrasi yang tidak hati-hati (kondisi
penampilan skala, kondisi subjek, kondisi testing)
Pemberian skor yang tidak cermat
Interpretasi yang keliru
Identifikasi tujuan ukur (penetapan konstruk psikologis)
Penulisan aitem/soal
Review aitem
Uji coba
Analisis aitem
Seleksi aitem
Format final
Langkah Penyusunan Skala
1. Identifikasi tujuan ukur menetapkan variabel psikologis
yang hendak diukur dan menetapkan definisi dari
variabel psikologis tersebut
2. Perumusan indikator perilaku dari definisi variabel
psikologis yang terkait
3. Pemilihan format stimulus metode penskalaan
4. Penulisan aitem dan review aitem
5. Uji coba
6. Analisis aitem
7. Seleksi aitem
8. Pengujian reliabilitas
9. Pengujian validitas
10. Format final
Dimensi Atribut & Indikator Perilaku
Cara mudah untuk mengidentifikasi tujuan dan
kawasan ukur menguraikan komponen2,
aspek2, indikator2 yang ada dalam konsep
teoritik mengenai atribut yang hendak diukur
BLUE PRINT/ KISI - KISI
Adalah kerangka/ rencana penyusunan alat
ukur. Cara pembuatannya :
1. Disajikan dalam bentuk tabel
2. Memuat aspek2/ komponen2 dan proporsi
aitem dari indikator perilaku dalam setiap
aspek/ komponen
3. Mengidentifikasikan nomor dan jumlah
aitem dari masing2 aspek/ komponen yg
dibuat
Contoh Blue Print Skala Agresivitas
Indikator Aitem Aitem
favorable unfavorable JUMLAH
Perilaku
Pendekatan Respons :
Tujuannya meletakkan kategori respons pada
titik2 di sepanjang st. kontinum psikologis yang
bergerak dari unfavorable s/d favorable
MODEL-MODEL
DAN DASAR-DASAR
PENSKALAAN
[ PSIKOMETRI ]
Torgerson (1958)
mengemukakan adanya tiga
pendekatan utama yaitu
pendekatan dengan metode-
PENDEKATAN metode yang berorientasi
pada subyek,
ATAU METODE pendekatan dengan metode-
PENSKALAAN metode yang berorientasi
pada stimulus, dan
pendekatan dengan metode-
metode yang berorientasi
pada respons.
Kesulitan dalam skala psikologi :
SKALA PSIKOLOGI Atribut psikologi bersifat latent
SEBAGAI ALAT Aitem-aitem dalam skala psikologi ditulis
UKUR berdasarkan indikator keperilakuan yg
berjumlah terbatas.
Respon yang diberikan oleh subjek
terhadap stimulus dalam skala psikologi
dipengaruhi variabel-variabel yg tidak
relevan
Atribut psikologi yang terdapat dalam diri
manusia stabilitasnya tidak tinggi
Interpretasi terhadap hasil ukur psikologi
hanya dapat dilakukan secara normatif
Atribut psikologi hanya diukur sampai
tingkat ordinal, karena tidak adanya titik
ATRIBUT nol yang absolut.
PSIKOLOGI Kategori atribut psikologi :
Atribut kemampuan (Kognitif)
SEBAGAI OBJEK
kemampuan yang bersifat potensial
UKUR Kemampuan potensial umum
(inteligensi)
Kemampuan potensial khusus (bakat)
Kemampuan yang bersifat actual (prestasi)
Atribut bukan kemampuan
KARAKTERISTIK Stimulus atau aitem dalam skala psikologi
SKALA PSIKOLOGI berupa pertanyaan dan pernyataan yang
tidak langsung (indikator perilaku yang
bersangkutan)
Atribut psikologi diungkap lewat indikator
perilaku, indikator perilaku diterjemahkan
dalam bentuk aitem.
Respon subjek tidak diklasifikasikan
sebagai jawaban “benar” atau “salah”
TABEL PERBEDAAN SKALA DAN ANGKET
2. Perusahaan bertempat
ditempat yang strategis
Skala Skala
Rating Rangking
Skala Skala
Rating Ranking
a. Skala a. Skala
Dikotomi Grafik
b. Skala
Kategori
c. Skala
likert b. Skala
Forced
d. Skala
Perbedaan
Sematik
e. Skala
Numerik c. Skala
komparatif
f. Skala
Konstan
g. Skala
Stepel
a. Skala Dikotomi (Dichotomus Scale)
Skala ini memberikan nilai dikotomi, misalnya nilai “ya” atau “tidak”. Tipe
data yang digunakan adalah nominal.
Customer service
____ superisor
____ packed
c. Skala Likert (Likert Scale)
Skala ini digunakan untuk mengukur respons subyek kedalam 5 poin skala
dengan interval yang sama. Tipe data yang digunakan adalah tipe interval.
d. Skala Perbedaan Semantik (Semantic Differential Scale)
Constant
Teknik Sum
Penskalaan
Continuous Lickert’s
Rating Scale Scale
Non-
Komparatif
Itemized Semantic
Rating Scale Differential
Staple
Paired Comparison
Manakah merek kendaraaan yang anda lebih sukai diatara
pasangan berikut ini.
Honda - Toyota
Honda – Suzuki
Honda – Daihatsu
Toyota – Suzuki
Toyota – Daihatsu
Suzuki – Daihatsu
Rank Order
Merek Ranking
Toyota
Honda
Suzuki
Daihatsu
Mitsubishi
Constant Sum
Karakteristik Segmen 1 Segmen 2 Segmen 3
Irit
Harga lebih sesuai
Nyaman
Perawatan
Harga Jual
…
Jumlah 100 100 100
Continuous rating scale
100 Sangat khawatir
Thermometer anxiety
50 -
25 -
jenis SUV
SUV
• Very Important
• Important
• Moderately Important • Very Important
• Of Little Importance • Moderately Important
• Unimportant • Unimportant
Summative Rating: Kualitas
• To a Great Extent
• Like Me • Somewhat • True
• Unlike Me • Very Little • False
• Not at All
Murah 1 2 3 4 5 6 7 Mahal
Irit 1 2 3 4 5 6 7 Boros
Modern 1 2 3 4 5 6 7 Jadul
Staple
Mobil merek “A” -3 -2 -1 +1 +2 +3
Murah
Irit
Modern
ANALISIS SOAL/ ITEM
Analisis soal/ item dilakukan untuk mengetahui
berfungsi tidaknya sebuah soal/ item
Analisis soal bertujuan untuk membantu
meningkatkan tes melalui revisi atau
membuang soal/ item yang tidak efektif
ANALISIS BUTIR SOAL SECARA
KUANTITATIF
• Adalah penelaahan item didasarkan pad data
empirik dari item yang bersangkutan. Data empirik
ini diperoleh dari peserta yang mengerjakan item-
item tersebut.
• Analisis/penelaahan iteml secara kuantitatif ini
dilakukan setelah soal diujikan.
• Ada 2 (dua) pendekatan dalam analisis kuantitatif,
yaitu:
1. Pendekatan secara klasikal/ tradisional (CTT)
2. Model Respon Butir (Item Response Theory)
Kegunaan Analisis Butir Soal/ Item
1. Untuk menentukan soal/ item yang cacat
atau tidak berfungsi penggunaannya
2. Untuk meningkatkan butir soal melalui
tiga komponen analisis yaitu:
a. Tingkat kesukaran,
b. Daya pembeda,
c. Pengecoh/ Distraktor soal,
1. Tingkat Kesukaran Butir Soal
Sebuah butir mempunyai tingkat kesukaran baik, dalam arti
dapat memberikan distribusi yang menyebar, jika tidak terlalu
sukar dan tidak terlalu mudah
Tidak ada uji signifikansi untuk tingkat kesulitan
Pada instrumen untuk variabel terikat dituntut mempunyai
tingkat kesukaran yang memadai dalam rangka untuk
membuat variansi yang besar pada variabel terikat
Biasanya digunakan untuk tes prestasi/ tes kognitif/ tes
potensi akademik
Untuk Skala Sikap, digunakan untuk melihat item yang
mudah disetujui dan yang sulit disetujui.
Untuk memperoleh skor yang menyebar, nilai P harus
makin mendekati 0,5
Biasanya kriterianya adalah sebagai berikut: 0.3 P 0.7
DAYA BEDA
Suatu butir soal/ item mempunyai daya pembeda baik jika
kelompok peserta pandai menjawab benar butir soal lebih banyak
daripada kelompok peserta tidak pandai (untuk tes kognitif)
Sedangkan pada skala sikap, misalnya mengukur motivasi maka
akan membedakan peserta dengan kategori motivasi tinggi hingga
rendah
Daya beda suatu butir soal dapat dipakai untuk membedakan siswa
yang pandai dan tidak pandai
Sebagai tolok ukur pandai atau tidak pandai adalah skor total dari
sekumpulan butir yang dianalisis Tidak ada uji signifikansi untuk
daya pembeda
Rentangan daya beda adalah -1.0 ≤ D ≤ 1.0
Butir soal mempunyai daya pembeda baik jika D ≥ 0.30.
Ada beberapa cara untuk mengukur daya pembeda
Dalam penentuan layak atau tidaknya suatu item yang akan
digunakan, biasanya dilakukan uji signifikansi koefisien
korelasi pada taraf signifikansi 0,05, artinya suatu item
dianggap valid jika berkorelasi signifikan terhadap skor
total. Atau jika melakukan penilaian langsung terhadap koefisien
korelasi, bisa digunakan batas nilai minimal korelasi 0,30.
Menurut Azwar (1999) semua item yang mencapai koefisien
korelasi minimal 0,30 daya pembedanya dianggap
memuaskan.
Tetapi Azwar mengatakan bahwa bila jumlah item belum
mencukupi kita bisa menurunkan sedikit batas kriteria 0,30
menjadi 0,25 tetapi menurunkan batas kriteria di bawah 0,20
sangat tidak disarankan.
Untuk pembahasan ini dilakukan uji signifikansi koefisien korelasi
dengan kriteria menggunakan r kritis pada taraf signifikansi 0,05
(signifikansi 5% atau 0,05 adalah ukuran standar yang sering
digunakan dalam penelitian)
Pengecoh/ Distraktor Butir Soal
Pengecoh disebut berfungsi jika:
(1) dipilih oleh sebagian siswa,
(2) siswa kelompok pandai memilih lebih
sedikit daripada siswa kelompok tidak pandai
Suatu butir soal mempunyai pengecoh yang
baik jika banyaknya siswa yang memilih
pengecoh tersebut sekurang-kurangnya
2,5% (atau 5%) dan siswa kelompok pandai
memilih lebih sedikit daripada siswa
kelompok tidak pandai
NORMA
Ada dua macam standar yang lazim digunakan dalam
menginterpretasikan skor mentah atau skor kasar menjadi nilai atau
kategori, yaitu (a) norma relatif atau disingkat norma, dan (b) norma
absolut atau lazim disebut kriteria.
1. Norma relatif, makna skor mentah yang dicapai oleh seorang subyek
ditentukan dengan membandingkannya dengan average
performance atau kinerja rata-rata dari kelompok sebayanya.
Statistik yang dipakai sebagai ukuran rata-rata lazimnya adalah
kombinasi antara Mean dan Standard Deviation.
Dengan menggunakan norma yang merupakan average
performance dari kelompok sebayanya sebagai standar serta
berdasarkan skor yang berhasil dicapai, masing-masing subyek bisa
dinilai kepemilikannya atas atribut psikologis tertentu dengan cara
memasukkannya ke dalam salah satu kategori, misal Rendah,
Sedang, Tinggi, atau kategori lain.
2. Norma absolut atau kriteria, makna skor mentah seorang
subjek ditentukan dengan membandingkannya dengan
sebuah standar yang sudah ditentukan secara apriori.
Penentuan standar ini lazimnya didasarkan pada
pertimbangan teoretis tertentu.
Penggunaan tes dengan penerapan norma absolut disebut
criterion-referenced testing atau pengetesan beracuan
patokan.
Menurut Friedenberg (1995), berdasarkan apa yang dipatok
atau dipakai sebagai patokan, penilaian beracuan patokan
lazim dibedakan ke dalam tiga jenis, yaitu (a) content-
referenced scoring atau penilaian beracuan patokan materi,
(b) objective-referenced scoring atau penilaian beracuan
patokan tujuan, dan (c) pass/fail atau mastery scoring atau
penilaian beracuan lulus/ gagal atau beracuan penguasaan.