DERİN ÖĞRENME MİMARİLERİ KULLANILARAK AYRIK VİDEO GÖRÜNTÜLERİ ÜZERİNDEN İŞARET DİLİ TANIMA

---

Tezin Türü: Doktora

Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Bilişim Enstitüsü, Bilişim Sistemleri, Türkiye

Tezin Onay Tarihi: 2021

Tezin Dili: Türkçe

Öğrenci: CEMİL GÜNDÜZ

Danışman: Hüseyin Polat

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

İşaret dilleri, işitme ve konuşma engelli bireylerin günlük yaşamda kullandıkları ana iletişim ortamları olan görsel dillerdir. Çok sayıda kanal üzerinden aktarılan işaretlerin bilgisayarlı tanınması sayesinde, işitme ve konuşma engelli bireyler hem diğer bireylerle hem de makineler ile iletişimlerini doğal şekilde yapabileceklerdir. Bu tez çalışmasında, derin öğrenme kullanılarak ayrık işaret dili videoları üzerinden işaret dili tanıma gerçekleştirilmiştir. BosphorusSign veri kümesinin "genel" isimli alt kümesi kullanılarak yapılan çalışmada, öncelikle veri artırma ve önişleme parametrelerinin belirlenmesi için çalışmalar yürütülmüştür. Ardından çeşitli derin öğrenme modelleri kullanılarak yapılan deneyler sonucunda işaret dili tanıma için kullanılabilecek uygun bir model belirlenmiştir. Daha sonra işaret dilindeki çeşitli kanalları ifade etmek üzere çıkarılan farklı veri kiplerinin tek başlarına ve çeşitli birleşimlerle başarımları değerlendirilmiştir. Bu sayede çok kipli bir işaret dili tanıma için kullanılacak en uygun veri kipi kombinasyonu elde edilmiştir. Son olarak, deneyler sonucunda elde edilen parametreler ve veri kiplerini kullanan çok kipli bir işaret dili tanıma modeli önerilmiştir. Önerilen model, RGB, eklem ve optik akış kiplerinde toplamda 6 farklı veri akışını bir arada girdi olarak almaktadır. Model bünyesindeki birleştirme mekanizması ile veri akışlarından çıkarılan öznitelikler birleştirilmiş ve derin öğrenme tabanlı sınıflandırıcı katmanlara aktarılmıştır. Uçtan uca bir yöntemle eğitilen bütünsel işaret dili tanıma modeli, kullanılan veri setinde görülen en yüksek başarım olan %89,3 doğruluk sunmuştur. Önerilen çok kipli işaret dili tanıma modelinin işaret dili tanıma başarımını iyileştirme konusunda geliştirilebilir bir potansiyeli vardır.