Çoktan seçmeli test maddeleri için göz izleme teknolojisi ile elde edilmiş verilerin boylamsal analizi: Yabancı dil olarak İngilizce okuduğunu anlama becerisi ölçen beş madde ile deneysel bir çalışma
Tezin Türü: Doktora
Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Eğitim Bilimleri Enstitüsü, Eğitim Bilimleri Enstitüsü, Türkiye
Tezin Onay Tarihi: 2023
Tezin Dili: Türkçe
Öğrenci: ERGÜN CİHAT ÇORBACI
Danışman: Nilüfer Kahraman
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu çalışmanın amacı, çoktan seçmeli deneysel bir test uygulaması üzerinden, katılımcıların madde yanıtlama davranışları ile maddeyi doğru/yanlış cevaplama durumları arasındaki ilişkileri göz izleme teknolojisi ile elde edilen veriler ile analiz ederek değerlendirmektir. Araştırma verileri, çalışmaya gönüllü olarak katılan yetmiş bir katılımcının, bir ekran üzerinden yabancı dil olarak İngilizce okuduğunu anlama becerisini ölçen beş çoktan seçmeli test maddesine verdiği yanıtları ve yanıtlama süreci sırasında eş zamanlı olarak alınan göz hareketlerini içermektedir. Öncelikle, her bir madde ayrı ayrı ele alınarak, çoktan-seçmeli bir maddenin bölümlerini oluşturan yönerge, soru metnine ait her bir satır ve her bir seçenek için İlgi Alanları değişkenleri tanımlanmıştır. Ardından, ham göz izleme verisi işleme süreci başlatılarak, maddeyi cevaplamada harcanan tüm zaman için bu değişkenlere ait saniyelik odaklanma verileri elde edilmiş, İlgi Alanları için ilk odaklanma zamanları, odaklanma süreleri ve tekrar odaklanma sayıları hesaplanmıştır. Yönerge, satır ve seçenekler için oluşturulan İlgi Alanlarına ait veriler kullanılarak betimsel istatistikler (ortalama, medyan, vb.) ve çıkarımsal istatistikler (Mann-Whitney U testi) hesaplanmıştır. Ayrıca, seçenekler için oluşturulan İlgi Alanları için Örtük Büyüme Modelleri hesaplanarak katılımcıların seçeneklere sıralı odaklanma davranışlarındaki örüntüler çalışılmıştır. Yönerge ve satır için oluşturulan İlgi Alanlarından farklı olarak, içerdikleri kelime sayıları açısından benzer olmaları ve her maddede eşit sayıda bulunmaları nedeniyle, seçenekler için oluşturulan İlgi Alanları için elde edilen sıralı odaklanma verilerinin Örtük Büyüme Modelleri ile incelenebilmesi mümkün olmuştur. Analizlerde, ilk önce, seçenek İlgi Alanları için çıkarılmış olan sıralı odaklanma verileri (saniyeler), zaman serisi verilerin stabilizasyonu amaçlı istatistiksel modelleme çalışmalarında yaygın kullanılan log transformasyonuna tabi tutulmuştur. Takiben, yuvalanmış modeller ile seçeneklere sıralı odaklanma davranışındaki örüntünün şekli ve son olarak da, bu şeklin maddeyi doğru yanıtlayan ve yanıtlamayan katılımcılar için değişip değişmediği test edilmiştir. Ayrıca, doğru kodlanmış seçeneğin A, B, C, D veya E olmasının (sırası ile, Madde 1, Madde 2, Madde 3, Madde 4 ve Madde 5) gözlenen örüntünün şekli ve doğru yanıtlayan ve yanıtlamayanlar için gözlenen farkı ne derece açıkladığı incelenmiştir. Analizler, bireylerin madde cevaplama ortalama sürelerinin maddeden maddeye farklılaştığını (Madde 1 için 43, Madde 2 için 36, Madde 3 için 40, Madde 4 için 55 ve Madde 5 için 35) ve her bir madde içinde İlgi Alanlarındaki (yönerge, metin ve seçenekler) odaklanma sürelerinin farklılaştığını göstermektedir. Elde edilen bulgular, İlgi Alanlarına odaklanma sürelerinin, özellikle seçenekler için, maddenin doğru/yanlış cevaplanma durumuna göre farklılık gösterdiğini desteklemektedir. Maddeye doğru yanıt veren katılımcıların doğru seçeneğe daha fazla baktığı; benzer şekilde katılımcıların tekrar odaklanma davranışının maddenin doğru/yanlış cevaplanma durumuna ve doğru seçeneğin bulunduğu konuma göre farklılık gösterdiği bulunmuştur. Seçeneklere odaklanma davranışının bir süreç olarak modellemesine izin veren Örtük Büyüme Modelleri ile elde edilen bulgular, katılımcıların (seçenek A'dan seçenek E'ye) sıralı odaklanma davranışlarındaki genel örüntünün tüm maddeler için kuadratik bir değişime işaret ettiğini ve bu değişimin şeklinin de en çok maddeyi doğru yanıtlayanlar için ve en temelde de doğru-kodlanmış seçeneğin göreli lokasyonuna (sırasına) göre farklılaştığını göstermektedir. Çalışmanın sonuçları, göz izleme teknolojisi ile toplanabilecek verilerin, katılımcıların çoktan-seçmeli bir maddeyi okumaya başladıkları andan, maddeye yanıt verdikleri ana kadar geçen sürede, maddenin hangi bölümüne, ne sırada ve ne kadar süre ile odaklandıkları ile ilgili tipik davranışların belirlenmesinde ve bu davranışların doğru cevap ile ilişkilerinin çalışılmasında kullanışlı olabileceğini destekler niteliktedir. Çoktan seçmeli maddelerin nasıl işlediklerinin, maddeye harcanan süre ve bu sürenin İlgi Alanlarına dağılımları, doğru cevap ile korelasyonları, işlemeyen çeldiricileri gösterebilecek geri dönüş oranları gibi detaylı istatistikler ile çalışılabilecek olmasının, madde özellikleri ve en nihayetinde de yanıtlayıcı performansının daha iyi anlaşılmasına yönelik yapılacak çeşitli geçerlilik çalışmalarına önemli kanıtlar sağlayabileceği tartışılmıştır. Verilerinin bireysel uygulama gerektiren deneysel bir düzenekte toplanması ile gelen katılımcı ve madde sayısı sınırlılıkları, kullanılan göz izleme cihazının kayıt kalitesinin mükemmel olmayışı ve cihazın ürettiği zaman serisi verilerin ölçme ve değerlendirme alanı için anlamlı olabilecek boylamsal verilere dönüştürülme (veri işleme) süreçlerinin henüz deneysel bir aşamada olması gibi bir dizi sınırlılığı olmakla birlikte, bu çalışmanın sonuçları, göz izleme verilerinin madde ve test geliştirme çalışmalarına eklenmelerinin, maddelerin ölçmek isteği özelliği ölçüp ölçmediği konusunda yapılacak detaylı çalışmalara kullanışlı ampirik kanıtlar sağlayabileceğini destekler niteliktedir.