Akademik Veri Yönetim Sistemi
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Türkiye
Tezin Onay Tarihi: 2015
Tezin Dili: Türkçe
Öğrenci: Sibel Ada
Danışman: İSMAİL KARAKAYA
Özet:Bu çalışma puanlama güvenirliğini belirlemek için kullanılan uzlaşma katsayılarını karşılaştırmayı ve veri setindeki kayıp veri oranına göre bu katsayıları incelemeyi amaçlamaktadır. Aynı zamanda sayısal ve sözel ders için hesaplanan uzlaşma katsayılarının bir kıyaslaması yapılmıştır. Çalışma grubunu 71'i sekizinci sınıf ve 159'u dokuzuncu sınıf öğrencisi olmak üzere toplam 230 öğrenci oluşturmaktadır. Veriler Uluslararası Öğrenci Değerlendirme Sınavında kullanılan soruların açıklananları arasından seçilen beş matematik ile altı okuduğunu anlama sorusundan oluşturulan matematik okuryazarlığı ve okuduğunu anlama uygulama formları ile toplanmıştır. Toplanan öğrenci yanıtları üçü matematik ve üçü okuduğunu anlama için olmak üzere altı farklı puanlayıcı tarafından puanlanmıştır. Puanlama işlemleri esnasında araştırmacı tarafından hazırlanan dereceli puanlama anahtarı kullanılmıştır. Çalışma kapsamında elde edilen veriler üzerinden uzlaşma katsayıları ve sınıf içi korelasyon değerleri iki puanlayıcı ve üç puanlayıcı için hesaplanmıştır. Uzlaşma katsayıları dereceli puanlama anahtarlarındaki her bir ölçüt için hesaplanmıştır ve analiz edilen veriler sıralama düzeyinde olduğu için ağırlıklandırılmış katsayılar kullanılarak yapılmıştır. İki puanlayıcı için hesaplanan uzlaşma katsayıları Cohen'in kappa, Gwet'in AC2, Scott'nin pi, Krippendorff'un alfa, Brennan-Prediger, uzlaşma yüzdesi; üç puanlayıcı için hesaplanan uzlaşma katsayıları Fleiss'nin kappa, Gwet'in AC2, Krippendorff'un alfa, Conger'in kappa, Brennan-Prediger ve uzlaşma yüzdesi şeklindedir. Sınıf içi korelasyon katsayısı hesaplanırken toplam puan üzerinden analiz yapılmıştır. Sınıf içi korelasyon katsayısı için belirlenen uygun modele göre iki yönlü karma ANOVA kullanılmıştır. Ayrıca kayıp veri oranının yüzde beş, on ve on beş olduğu durumlar için tüm analizler tekrar yapılmıştır. Elde edilen güvenirlik katsayılarına ait değerlere, uzlaşma katsayıları için standart hata değerleri ve sınıf içi korelasyon katsayısı için hata varyansları dikkate alınarak karşılaştırmalar yapılmıştır. Uzlaşma katsayıları arasındaki ilişkilerin iki ve üç puanlayıcılı durum için kayıp veri olmadığı ve olduğu durumlarda benzer olduğu görülmüştür. Uzlaşma yüzdesinin her zaman en az hataya sahip olduğu ve en yüksek güvenirlik değerini gösterdiği; Gwet'in AC2'i uzlaşma katsayısının ise uzlaşma yüzdesinden sonra genel olarak en az hataya ve en yüksek değere sahip olduğu belirlenmiştir. Brennan-Prediger uzlaşma katsayısı değerlerinin genellikle Gwet'in AC2'ye yakın değerler verdiği tespit edilmiştir. Cohen'in/ Conger'in kappa, Scott'nin pi/Fleiss'nin kappa ve Krippendorff'un alfa değerlerinin de genel olarak birbirine yakın olduğu, diğer katsayılara göre nispeten daha büyük standart hata değerine sahip olduğu ve daha düşük güvenirlik değerleri gösterdiği saptanmıştır. Veri setindeki kayıp veri oranı açısından incelendiğinde ise hem uzlaşma katsayılarının hem de sınıf içi korelasyon değerlerinin iki yüz elli kişilik veri grubu için kayıp veri oranı yaklaşık olarak yüzde on beşe kadar olduğu durumda kayıp veri olmadığı durumla benzer sonuçlar vermektedir. Genel olarak üç puanlayıcının olduğu durumdaki puanlama güvenirliği için hesaplanan güvenirlik katsayılarının iki puanlayıcı için hesaplananlara göre göreli olarak daha yüksek olduğu görülmüştür. Sayısal ve sözel ders bakımından incelendiğinde ise matematik okuryazarlığı uygulamasından elde edilen güvenirlik değerlerinin okuduğunu anlama uygulamasına göre daha yüksek olduğu belirlenmiştir. Çalışmanın sonuçlarına göre puanlama güvenirliğinin belirlenmek istendiği çalışmalarda en az iki puanlama güvenirliği katsayısının raporlanması, sözel derslerde çalışma yapanların sorular hakkında farklı yorumlamaları önlemek için iyi tasarlanmış dereceli puanlama anahtarları kullanmaları ve puanlayıcı eğitimine başvurmaları önerilmektedir. Araştırmacılara ise en uygun uzlaşma katsayısı değerleri için ne kadar puanlaycının bulunması gerektiği ve çalışmada kullanılandan daha küçük ya da daha büyük örneklemler için kayıp verinin nasıl çalışacağına yönelik çalışmalar yapması önerilmektedir.