Akademik Veri Yönetim Sistemi
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: Türkçe
Öğrenci: Zeynep GÖLCÜR
Danışman: İsmail Karakaya
Özet:
Bu çalışma matematik başarı testindeki açık uçlu maddeleri özel bütünsel dereceli puanlama anahtarı ile puanlayan puanlayıcılar arası güvenirliği çok yüzeyli Rasch modeli puanlama desenlerine göre karşılaştırarak güvenilir ve kullanışlı bir puanlama deseni ortaya koymayı amaçlamıştır. Ankara’daki devlet okullarının sekizinci sınıfında öğrenim gören 137 öğrenciye uygulama yapılmıştır. Başarı testi, ikisi PISA 2012 matematik testi pilot uygulama sorusu olmak üzere 11 maddeden oluşmuştur. Araştırmacı tarafından hazırlanan dokuz açık uçlu maddenin ve maddelere ilişkin özel bütünsel puanlama anahtarlarının kapsam geçerliğini kontrol etmek için uzman değerlendirme formu oluşturularak bir ölçme değerlendirme ve beş matematik alan uzmanından görüş alınmıştır. Belirtke tablosunda belirtilen kazanımlara ve bilişsel düzeylere uygun iyi maddeler hazırlandığı konusunda görüş birliğine varılmıştır. Açık uçlu maddelerin ve dereceli puanlama anahtarının her madde için hesaplanan kapsam geçerlik indeksi değerinin kapsam geçerlik ölçütü değeri 0,80 (N=6 ve 𝛼𝛼 =0,05)’den büyük olduğu, kapsam geçerliklerinin sağlandığı görülmüştür. Matematik başarı testinin uygulanmasından elde edilen verilerle açımlayıcı faktör analizi yapılmıştır. Analiz sonucunda maddeler iki faktörde kümelenmiş, birinci faktörün açıkladığı varyans oranının %43,52 bulunması matematik başarı testinin tek faktörlü bir yap oluşturabileceğini göstermiştir. Güvenirlik katsayısı ω değeri 0,89 bulunmasıyla açık uçlu maddelerin, dereceli puanlama anahtarının puanlama güvenirliğinin sağlandığı görülmüştür. Öğrenci cevapları dört matematik öğretmeni tarafından birbirlerinden bağımsız olarak puanlanmış, veriler analiz edilmiştir. Eckes (2015)’in tanımladığı çok yüzeyli Rasch modeli puanlama desenlerinden tamamen çaprazlanmış puanlama deseni (Desen A), tamamlanmamış-bağlantılı puanlama deseni (Desen B ve C), tamamlanmamış-bağlantılı olmayan puanlama deseni (Desen D), tamamlanmamış-bağlantılı sarmal puanlama deseni (Desen E), Tharbai ve Young (2001)’ın kullandığı sarmal puanlama deseninin (Desen F) tümünde puanlayıcıların katı puanlama yaptığı, katılık-cömertlik davranışları arasında istatistiksel olarak anlamlı fark olduğu, puanlamaya puanlayıcıdan kaynaklanan hataların karıştığı ve Madde 6’nın güçlüğünün en yüksek olduğu görülmüştür. Tüm desenlerde madde güçlüğü yüksek ve düşük madde gruplarının, logit değerlerinin farklılaşabildiği görülmüştür. Rasch-Cohen’in kappa istatistiği değerleri Desen A, B, C, D, E, F için sırasıyla; 0,65; 0,66; 0,66; 0,93; 0,43; 0,45 bulunmuştur. Puanlayıcıların puanlama anahtarı ölçütleriyle tutarlı puanlama yaptıkları ve puanlayıcılar arası güvenirliğin (uyumun) yüksek olduğu anlaşılmıştır. Açık uçlu maddeleri cevaplandırmada en yüksek ve en düşük beceriye sahip öğrenciler Desen F dışındaki desenlerde aynı öğrencilerden oluşmaktadır. Desen B’nin Desen A ile puanlayıcı sıralamalarının aynı, logit değerlerinin öğrenci, açık uçlu madde yüzeyleri ile dereceli puanlama anahtarı kategorilerine ilişkin ölçüm raporlarının, puanlayıcılar arası güvenirliklerinin oldukça benzer olduğu görülmüştür. Desen F’ye ilişkin ölçüm raporları diğer desenlerden oldukça farklıdır. Desen A ile B’nin benzer RaschCohen’in kappa değerlerinin de benzerlik gösterdiği tüm puanlayıcıların tüm öğrenci cevaplarını puanladığı Desen A yerine daha kullanışlı ve daha az zaman gerektiren dört puanlayıcıdan herhangi üçünün bir öğrenciyi puanladığı Desen B’nin alternatif olarak kullanılabileceği sonucuna ulaşılmıştır.
Anahtar Kelimeler: Açık Uçlu Maddeler, Çok Yüzeyli Rasch Modeli Puanlama Desenleri, Özel Bütünsel Dereceli Puanlama Anahtarı, Puanlayıcılar Arası Güvenirlik.