Akademik Veri Yönetim Sistemi
9. Uluslararası Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi, Eskişehir, Türkiye, 2 - 06 Eylül 2024
Eğitim ve psikolojide, bireylerin bilişsel, duyuşsal ve psikomotor becerilerini ölçmek amacıyla test ve ölçek geliştirme çalışmaları önemli bir yer tutmaktadır. Bu çalışmaların temel amacı, geliştirilen test/ölçek ile ölçülmek istenen özellik arasında güvenilir bir bağlantı sağlamaktır. Ölçek geliştirme sürecinde, testi/ölçeği oluşturan maddelerin kapsam geçerliğinin yüksek olması, bireylere ilişkin geçerli ve güvenilir çıkarımlar yapmak adına önemlidir. Kapsam geçerliği pilot çalışmalarla belirlenebilir. Ancak pilot uygulama yapılamayan bazı durumlarda uzman görüşlerine başvurulmaktadır. Bu tür çalışmaların temel amacı, uzmanların bilgi ve deneyimlerinden faydalanarak ölçeğin geçerlik ve güvenirliğini artırmaktır. Uzman görüşlerine dayalı nitel çalışmaların, istatistiksel olarak nicel çalışmalara dönüştürülmesi amacıyla kapsam geçerlik oranları (Content Validity Ratios - CVR) ve kapsam geçerlik indeksleri (Content Validity Indexes - CVI) kullanılır. Kapsam Geçerlik İndeksi (CVI) ve Kapsam Geçerlik Oranı (CVR) hesaplamalarında kullanılan uzman sayısı, bu ölçümlerin geçerliği ve güvenirliği açısından kritik bir öneme sahiptir. Uzman sayısı ne kadar fazla olursa, elde edilen verilerin güvenirliği ve geçerliği de o kadar artar. Ancak, pratikte belirli sayıda uzmana ulaşmak her zaman mümkün olmayabilir. Bu noktada, yapay zekâ teknolojileri kullanılarak kapsam geçerlik oranları ve indeksleri hesaplanabilir. Bu çalışmanın amacı, B1 İngilizce eğitim kurlarından alınan örnek okuma metinleri ve sorularına ilişkin kapsam geçerlik oranlarını ve indekslerini, beş farklı yapay zekâ aracından alınan puanlar kullanarak hesaplamak ve aralarındaki uyumu değerlendirmektir. Bu doğrultuda 25 çoktan seçmeli maddeden oluşan bir test kullanılmıştır. Testlerin kazanımları Avrupa Dilleri Ortak Çerçeve Programı (CEFR - Common European Framework of Reference for Languages) ile paraleldir. CEFR standardına göre İngilizce okuma metinleri, dil öğrenenlerin okuma becerilerini belirli seviyelerde geliştirmelerine yardımcı olmak için tasarlanmışlardır. Her seviyede, öğrencilerin hangi okuma becerilerini edinmeleri gerektiği ayrıntılı bir şekilde belirtilmiştir. Bu kapsamda her bir yapay zeka aracı, kapsama yönelik bir uzman olarak eğitilerek her bir maddeye 1 (kapsamı iyi örneklememektedir) ve 4 (kapsamı iyi örneklemektedir) arasında puan verecektir. Her bir yapay zekadan alınan puanlar kullanılarak her bir madde için kapsam geçerlik oranları (CVR) ve kapsam geçerlik indeksleri (CVI) hesaplanacaktır. Çalışma sonucunda hesaplamaların, her bir yapay zeka aracının ilgili CEFR seviyesindeki okuma becerileri kazanımlarını ne ölçüde yansıttığını ortaya koyması beklenmektedir. Bu çalışmada farklı yapay zeka araçlarının CVR ve CVI değerlerinin karşılaştırılmasıyla, bu araçların sonuçları arasında uyum olup olmadığı değerlendirilecektir. Araçların sonuçları arasında yüksek uyum bulunması, yapay zekanın kapsam geçerliği değerlendirmelerinde güvenilir bir araç olduğuna dair kanıt olacaktır. Yapay zeka araçlarının kullanımıyla elde edilen sonuçların, bu araçların eğitim ve psikolojide test ve ölçek geliştirme çalışmalarında ne gibi avantajlar ve dezavantajlar oluşturduğunu göstermesi beklenmektedir. Özellikle uzmanlara ulaşılamaması durumunda yapay zeka teknolojilerinin sunduğu alternatif çözümlerin ortaya konulması düşünülmektedir. Çalışma sonuçlarına dayanarak, kapsam geçerlik oranları ve indekslerinin hesaplanmasında yapay zeka teknolojilerinin daha etkin ve yaygın kullanılmasına yönelik önerilerde bulunulacaktır.