Akademik Veri Yönetim Sistemi
XIV. Ulusal Tıp Eğitimi Kongresi, Bursa, Türkiye, 31 Ekim - 03 Kasım 2024, ss.73-74, (Özet Bildiri)
Giriş: ContExtended Questions (CEQ), birden fazla doğru cevaplı, çoktan seçmeli, geri bildirimli sorular yoluyla hastanın öyküsünden tedavisine kadarki süreci basamak basamak içeren bir biçimlendirici (formative) sınav yöntemidir.
Amaç: ChatGPT-3.5 ve uzman geri bildirimlerinin birinci sınıf tıp fakültesi öğrencilerinde öğrenmeye etkisinin karşılaştırılması ve yapay zekanın (YZ) tutarsızlıkları açıklandığında eleştirel yaklaşım düzeylerinin belirlenmesi amaçlanmıştır.
Yöntem: 129 birinci sınıf tıp fakültesi öğrencisi ile yürütülmüş randomize kontrollü bir deneydir. Katılımcılar kontrol (uzman) ve deney (ChatGPT) olmak üzere iki gruba rastgele atanarak beş gün boyunca komplike üriner sistem enfeksiyonu (ÜSE), komplike olmayan ÜSE, ve pyelonefrit hakkında CEQ sorularını cevaplamış ve her soru ardından verilen geri bildirimleri okumuşlardır. Gruplar arasında yalnızca geri bildirim metinleri (uzman-ChatGPT) farklıdır. Ardından, CEQ olgularından farklı yapıda ve içerikte, her biri 2-3 sorudan oluşan 12 Anahtar Özellik Sorusu (AÖS) maddesi performans ölçümü (summative) amacıyla kullanılmıştır (birinci test: ilk gün, aynı ikinci test: 10 gün sonra). Ayrıca, katılımcıların yapay zekaya güveni açısından müdahale öncesinde-sonrasında birer anket yapılmıştır. Veriler Jamovi (versiyon 2.2.5) kullanılarak analiz edilmiştir.
Bulgular: Her iki grup arasında birinci testin toplam (p=0.26), komplike olmayan ÜSE (p=0.25) ve pyelonefrit (p=0.16) sonuçları karşılaştırıldığında anlamlı bir fark bulunamamıştır. Ancak komplike ÜSE sorularında uzman grubu lehine anlamlı bir fark görülmüştür (p<0.001). İkinci testin toplam (p=0.57), komplike olmayan ÜSE (p=0.31) ve pyelonefrit (p=0.05) sonuçlarında anlamlı bir fark bulunmamışken komplike ÜSE açısından yine uzman grubu lehine anlamlı bir fark görülmüştür (p<0.001). Testlerin Cronbach’s alpha değeri 0.77-0.76’dır. YZ’nın tutarsızlıklarının açıklanmasının ardından ChatGPT grubunun YZ içeriğine eleştirel bakışı, uzman grubundan anlamlı düzeyde yüksek bulunmuştur (p<0.05).