Meta Analitik Test Eşitleme Yönteminin Çeşitli Değişkenler Açısından İncelenmesi: TIMMS 2015 Örneği


Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2022

Tezin Dili: Türkçe

Öğrenci: Rana Salmaner DOĞAN

Danışman: Şeref Tan

Özet:

Araştırmanın temel amacı veri oluşturmada kullanılan faktörlerin farklı düzeylerinde eş değer olmayan gruplarda ortak madde deseni altında test eşitleme yöntemleri, hata kestirim yöntemleri, meta analiz modelleri ve MTK eşitlemede kullanılan ölçek dönüştürme yöntemlerinin etkililiklerinin meta analitik yöntem kullanılarak karşılaştırılmasıdır. Bu amaç doğrultusunda TIMMS sınavının 2015 yılı matematik testi 4. sınıf verisinden seçkisiz örneklem grupları oluşturularak incelenmesi amaçlanan koşullar altında hangi yöntemin daha az hatalı sonuçlar verdiği araştırılmıştır. Araştırma sonucunda bootstrap hata kestirim yöntemi kullanıldığında kitapçıklar arası güçlük farkının fazla olduğu durumda genel olarak gözlenen puan eşitlemenin daha düşük hata değerlerine sahip olduğu gözlenmiştir. Delta hata kestirim yöntemi kullanıldığında kitapçıklar arası güçlük farkının hem az hem de fazla olduğu koşulda gerçek puan eşitlemenin daha düşük hata değerleri ürettiği belirlenmiştir. Gerçek puan eşitleme yöntemi kullanıldığında genel olarak delta yönteminin daha düşük hata değerine sahip olduğu gözlemlenmiştir. Gözlenen puan eşitleme ve rastgele etkiler modeli kullanıldığında “Stocking Lord” yöntemi için her koşulda delta yönteminin daha az hata ile analiz yaptığı belirlenmiştir. Gözlenen puan eşitleme ve sabit etki modeli kullanıldığında karakteristik eğri yöntemleri için her koşulda bootstrap hata kestirim yöntemi kullanılan analizin daha düşük hata değerlerine sahip olduğu gözlemlenmiştir. Kitapçıklar arası güçlük farkının fazla olduğu analizde genel olarak en düşük hata ile çalışan ölçek dönüştürme yönteminin “Haebara” ve kitapçıklar arası güçlük farkının az olduğu analizde genel olarak en düşük hata değerine sahip ölçek dönüştürme yönteminin “Stocking Lord” olduğu gözlenmiştir. Gerçek ve gözlenen puan eşitleme ve sabit etki modeli kullanıldığında dört ön eşitleme kullanılarak yapılan analizlerinde daha düşük hata değerlerine sahip oldukları gözlenmiştir. Gözlenen puan eşitleme ve sabit etki modeli kullanıldığında kitapçıklar arasında güçlük farkının fazla olduğu koşul daha az hata değerine sahiptir. Araştırma bulgularından yola çıkarak benzer araştırma koşullarında ve benzer veri setleri için uygulayıcılara kitapçıklar arası güçlük farkının fazla olduğu durumda bootstrap hata kestirim yöntemi kullanıldığında öncelikli olarak gözlenen puan eşitleme yöntemi kullanmaları önerilmektedir. Ayrıca gerçek puan eşitleme yöntemi kullanıldığında öncelikli olarak delta hata kestirim yöntemi ve gözlenen puan eşitleme yöntemi altında karakteristik eğri ölçek dönüştürme yöntemleri kullanıldığında öncelikli olarak bootstrap hata kestirim yöntemi kullanmaları önerilmektedir. Çalışma ile benzer koşullar altında ve benzer veri setiyle eşitlenecek testler arasındaki güçlük farkının fazla olduğu durumda “Haebara” ve testler arasındaki güçlük farkının az olduğu durumda öncelikli olarak “Stocking Lord” yöntemleri kullanmaları önerilmektedir. Meta analitik test eşitleme yöntemin, ön eşitlemeler kullanması ve çalışmalar arasındaki farklılaşmayı da göz önünde bulundurması açısından, farklı sınavlarda sınav merkezleri tarafından yaygın olarak kullanılması önerilmektedir.

Anahtar Kelimeler : Test Eşitleme, MTK Eşitlemede Ölçek Dönüştürme, Meta Analitik Test Eşitleme, Eşitlemede Hata Kestirimi