Determining Ability Levels by Using Computerized Adaptive Testing and Paper-And-Pencil Testing in the Distance Education: A MultiCentred Real Data Study


Arslan Y. K. , Bilgin Ü., Çolak M.

Tıp Eğitimi Dünyası, no.63, pp.95-103, 2022 (Peer-Reviewed Journal)

  • Publication Type: Article / Article
  • Publication Date: 2022
  • Doi Number: 10.25282/ted.1003962
  • Journal Name: Tıp Eğitimi Dünyası
  • Journal Indexes: TR DİZİN (ULAKBİM)
  • Page Numbers: pp.95-103
  • Gazi University Affiliated: Yes

Abstract

Özet Amaç: İçinde bulunduğumuz Covid-19 pandemi sürecinde uzaktan eğitimin popüler hale gelmesi ile yapılan çevrimiçi sınavlarda kişilerin yetenek düzeyini daha doğru şekilde belirlemek ve sınav stratejilerini çözümlemek için bilgisayar uyarlamalı test kullanımı giderek önem kazanmaktadır. Bu çalışmada, uzaktan eğitim sürecinde öğrencilerin yetenek düzeylerinin bilgisayar uyarlamalı test ve kağıt-kalem testi ile kestirimlerinin karşılaştırılması amaçlanmıştır. Yöntem: Araştırma, Mart 2020 – Aralık 2020 tarihleri arasında gerçekleştirilen kesitsel ve metodolojik bir araştırmadır. Araştırmanın çalışma evrenini Erzincan Binali Yıldırım Üniversitesi, Gazi Üniversitesi, Erciyes Üniversitesi ve Kastamonu Üniversitesi Spor Bilimleri Fakültelerinde öğrenim gören beden eğitimi ve spor öğretmenliği 4. sınıf öğrencileri oluşturmaktadır. Bu çalışmada R programlama dili (ver. 3.6.2) ve RStudio (ver. 1.2.5033) yazılımı kullanılarak analizler gerçekleştirilmiştir. Kişi sayısı 176; madde bankasındaki madde sayısı 80 (4 farklı alanın (egzersiz fizyolojisi, psikomotor gelişim, antrenman bilgisi, egzersiz ve beslenme) her birinden uzmanlar tarafından hazırlanan 20’şer soru ile oluşturulmuştur); bilgisayar uyarlamalı test durdurma kriteri için standart hata <0,5 olarak alınmıştır. Kağıt-kalem testi ve bilgisayar uyarlamalı test θ değerlerinin uyumları sınıf içi korelasyon katsayısı ile değerlendirilmiştir. Kişilere ait bilgisayar uyarlamalı test kestirimleri catR paketindeki “randomCAT” fonksiyonu ile gerçekleştirilmiştir. Bilgisayar uyarlamalı testten elde edilen kişinin yetenek düzeyi, θ’ya ait standart hata ve kullanılan madde sayısı analiz sonucunda sunulmuştur. Bilgisayar uyarlamalı testte madde seçimi için maksimum Fisher bilgi kriteri kullanılmıştır. Yetenek düzeyi kestirimlerinde iteratif yaklaşımlar için en çok olabilirlik kestirimi kullanılmıştır.

Bulgular: Klasik test skoru (0-100 skalasında) ve bilgisayar uyarlamalı test arasında orta düzeyde uyum saptanmıştır (sınıf içi korelasyon katsayısı:0,682, güven aralığı %95GA=0,594-0,765, F(175,175)=17,1; p<0.001). Çalışmada, kağıt kalem testinden elde edilen cevaplardan madde yanıt teorisi doğrultusunda elde edilen yetenek düzeyleri ve bilgisayar uyarlamalı test ile yetenek düzeyi kestirimleri incelendiğinde uyumun mükemmel düzeyde (sınıf içi korelasyon katsayısı:0,90; %95GA:0,866-0,924) olduğu görülmüştür. Ayrıca bilgisayar uyarlamalı testin kağıt-kalem testine göre soru sayısını %80 oranında azalttığı bulunmuştur. Sonuç: Bu çalışmadan elde edilen sonuçlar, bilgisayar uyarlamalı test uygulaması ile daha kısa sürede, daha az madde sayısı ile güvenli sonuçlar elde edilebileceğini ve testin tamamlanmasından kısa süre sonra sonuçların izlenebileceğini göstermektedir.