Akademik Veri Yönetim Sistemi
Tez Türü: Doktora
Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Rektörlük, -, Türkiye
Tez Danışmanı: Nuri Doğan
Tezin Onay Tarihi: 2013
Tezin Dili: Türkçe
Özet:
Bu araştırmada, PISA 2009 Okuma Becerileri performansını değerlendirmede kullanılan açık uçlu soruların, birden fazla puanlayıcı tarafından birlikte ve dönüşümlü olarak puanlanmasıyla elde edilen farklı desenler Genellenebilirlik Kuramına göre karşılaştırılmıştır.Bu çalışmanın örneklemini, PISA 2009 uygulamasına katılan 4996 öğrenciden, okuma becerileri alanında yer alan soruları yanıtlayan ve yanıtladıkları kitapçıklar birden fazla puanlayıcı tarafından puanlanan 886 öğrenci oluşturmaktadır. Araştırmada, iki farklı senaryo üzerinden genellenebilirlik kuramında kullanılmak üzere iki desen tasarlanmıştır. Bu desenlerden ilki, öğrenci (ö), soru (s) ve puanlayıcı (p) değişkenleri olmak üzere, öğrencilerin aynı beceriler konusunda puanlayıcıların her biri tarafından puanlandığı ö x s x p çapraz desendir. İkinci desen ise, her bir puanlayıcının öğrencilerden sadece bir kısmını puanlamasıyla oluşan, öğrenci ve puanlayıcı değişkenlerinin yuvalanmış olduğu, soruların ise bu değişkenlerle çaprazlanmış olduğu (ö:p) x s desenidir.Analizler EduG 6 Programıyla gerçekleştirilmiştir. EduG 6 Programı, varyans analizine dayalı ve genellenebilirlik kuramı analizleri için geliştirilmiş bir programdır. Program, araştırmacının ölçmeye etki eden en büyük varyans kaynağını belirlemesine olanak sağlar ve Karar çalışmasıyla hata varyansına en çok katkısı olan örneklem deseninde yapılan değişikliğin etkilerini görmesine yardımcı olur.Ö x S x P ve (Ö:P) x S desenleri karşılaştırıldığında, (Ö:P) x S deseni ile kestirilen bağıl ve mutlak hata varyanslarının Ö x S x P desenine göre daha küçük olduğu, dolayısıyla G ve Phi katsayılarının daha büyük değerler aldığı görülmektedir. Bu iki desende yapılan Karar çalışmaları incelendiğinde, her iki desende de puanlayıcı sayısını artırmanın G ve Phi katsayılarında artış sağladığı görülmüştür. 2, 4, 5, 6 ve 7 nolu Kitapçıklarda, puanlayıcı sayısını yarıya indirerek ya da madde sayısını yarıya indirerek, çoğu zaman her ikisinin sayısını da yarıya indirerek kabul edilebilir düzeylerde G katsayısına ulaşmanın mümkün olduğu görülmektedir.2, 4, 5, 6, 7 nolu Kitapçıklarda madde ve puanlayıcı sayısının indirilip, 8 ve 12 nolu Kitapçıklarda madde sayısı sabit tutularak, puanlayıcı sayısının artırılmasının zaman, işgücü ve ekonomi açısından uygun olacağı sonucuna ulaşılmıştır.
In this study, different designs which were formed jointly and alternatively assesment of students by more than one rater in scoring of PISA 2009 reading open ended items were compared according to Generalizability Theory.886 students who answered reading items and scored by more than one rater were selected from 4996 students who participated PISA 2009. In the study, two different designs were formed and G and D studies were done according to Generalizability Theory. The first design is a crossed design S x I x R (student x item x rater) which students answersed all of the items and scored by all of the raters and the second design is a partially nested design (S:R) X I which students answered all of the items but they were nested in raters.EduG 6 was used to carry out Generalizability Analysis. EduG is a program based on the Analysis of Variance (ANOVA) and designed to carry out Generalizability analysis. It enables you to identify which sources of variance have the greatest influence on your measurement observations, and, through D study allows you to see the potential effect of changing your sampling design to reduce the greatest contributions to measurement error.When the results of Generalizability analysis according to S x I x R and (S:R) X I designs compared, it was observed that variance rates that were estimated for variables in (S:R) X I design tends to be smaller and so G and Phi coefficients in this design tend to be higher. As a result of D studies, in both designs when the number of raters increases, G and Phi Coefficients increase as well. In Booklets 2, 4, 5, 6 and 7, reducing the number of raters by half or reducing the number of items by half or reducing the number of raters and items by half at the same time, still provide acceptable G and Ghi Coefficifients.In Booklets 2, 4, 5, 6 and 7, reducing the number of items and raters by half; in Booklets 8 and 12, keeping the number of items constant and inceasing the number of raters, will be convenient in terms of time, labor and economy.