Performans değerlendirme sürecinde puanlayıcı eğitiminin puanlayıcı davranışları üzerindeki etkisinin incelenmesi
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Eğitim Bilimleri Enstitüsü, Türkiye
Tezin Onay Tarihi: 2019
Tezin Dili: Türkçe
Öğrenci: MEHMET ŞATA
Danışman: İsmail Karakaya
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu araştırmada, performans değerlendirme sürecinde ölçümlere karışan problemli puanlayıcı davranışlarının belirlenmesi ve puanlayıcı eğitiminin bu problemli davranışlar üzerindeki etkisinin incelenmesi amaçlanmıştır. Araştırma, deney ve kontrol gruplu ön test-son test uygulamalı yarı deneysel desen ile tasarlanmıştır. Araştırmanın çalışma grubu 23 kontrol grubu ve 22 deney grubu olmak üzere toplam 45 puanlayıcıdan oluşmaktadır. Araştırmacı tarafından geliştirilen analitik dereceli puanlama anahtarı, Uluslararası İngilizce Dil Test Sistemi tarafından hazırlanan düşünce temelli yazma görevi ve kişisel bilgi formu kullanılarak araştırmanın verileri toplanmıştır. Araştırma verileri; çok yüzeyli Rasch ölçme modeli, genellenebilirlik kuramı ve bağımsız örneklemler t-testi kullanılarak analiz edilmiştir. Hem çok yüzeyli Rasch hem de genellenebilirlik analizlerinde tamamen çaprazlanmış desen kullanılmıştır. Deneysel işlem olarak puanlayıcı eğitimi verilmiş olup bu eğitim, puanlayıcı hatası eğitimi ve referans çerçevesi eğitimi desenlerinin birleştirilmesi ile oluşturulmuştur. Deney grubuna uygulanan puanlayıcı eğitimi her hafta bir saat olmak üzere toplam dört hafta sürmüştür. Puanlayıcı eğitimi öncesi hem kontrol grubunun hem de deney grubunun problemli puanlayıcı davranışlarının istatistiksel olarak benzer olduğu belirlenmiştir. Bu araştırmada; puanlayıcı katılığı, puanlayıcı cömertliği, merkeze yönelim, halo, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliği olmak üzere altı tane problemli puanlayıcı davranışı incelenmiştir. Araştırmanın bulguları incelendiğinde puanlayıcı eğitimi öncesi deney ve kontrol grubunda; puanlayıcı katılığı, puanlayıcı cömertliği, farklılaşan puanlayıcı katılığı ve farklılaşan puanlayıcı cömertliğinin hem grup düzeyinde hem de bireysel düzeyde, halo ve merkeze yönelim davranışlarının ise sadece bireysel düzeyde ortaya çıktığı tespit edilmiştir. Puanlayıcı eğitimi sonrası incelenen problemli puanlayıcı davranışlarının yeniden ortaya çıktığı fakat deney grubundaki bu davranışların ölçümlere karışma düzeylerinin istatistiksel olarak kontrol grubundan görece daha az olduğu belirlenmiştir. Puanlayıcı eğitiminin puanlayıcı katılığı ve puanlayıcı cömertliği davranışı üzerinde büyük bir etkiye sahip olduğu ve katılık ile cömertlik davranışındaki değişimin %15'inin puanlayıcı eğitimi ile açıklanabildiği bulunmuştur. Puanlayıcı eğitiminin puanlayıcı güvenirliği üzerindeki etkisine bakıldığında ise puanlayıcılar arası güvenirliğin arttığı ve bu etkinin orta düzeyde olduğu ayrıca puanlayıcı güvenirliğindeki değişimin %10'unun puanlayıcı eğitimi ile açıklanabildiği tespit edilmiştir. Araştırmanın verileri hem çok yüzeyli Rasch hem de genellenebilirlik kuramı ile analiz edilmiş ve her bir yüzeyden gelen varyans kaynakları incelenmiştir. Elde edilen bulgulara göre her iki analiz yöntemin benzer sonuçlar verdiği bulunmuştur. Araştırmanın ulaştığı sonuçlardan hareketle jüri üyelerinin yer aldığı ve önemli kararların verildiği durumlarda yer alan puanlayıcılara yönelik puanlayıcı eğitiminin verilmesi önerilmektedir. Bu araştırmada akademik yazma becerilerinin değerlendirilmesine yönelik puanlayıcı eğitimi verildiğinden benzer olarak diğer yazma türlerine ve sayısal ders içeriklerine de yönelik puanlayıcı eğitimlerinin verilmesi önerilmektedir.