Gerçek zamanlı harf tabanlı türkçe işaret dili tanıma sistemi


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2015

Öğrenci: İSMAİL DEMİRLER

Danışman: ÖZGÜL SALOR DURNA

Özet:

Bu tez çalışması kapsamında, harf tabanlı gerçek zamanlı Türkçe İşaret Dili (TİD) Tanıma Sistemi geliştirilmiştir. Geliştirilen sistemin hem tek elle hem de çift elle işaretler içeren TİD'nin bütün harflerini, Türkçe'ye özgü harfleri de (ç, ı, ğ, ö, ü) içerecek şekilde, başarıyla algıladığı gösterilmiştir. Geliştirilen sistem, kullanıcılar arasındaki harf gösterimlerinde oluşan farklılıklardan dolayı başarımının etkilenmemesi için, kullanıcı eğitimiyle çalışmaktadır. Bu sayede kullanıcı, sistemi ilk kullanmaya başladığında, işaret dili harflerini sisteme tanıtmakta ve kendi veritabanını oluşturmaktadır. Veritabanı oluşturulduktan sonra, sistem, işaret dili tanıma için hazır hale gelmektedir. Geliştirilen algoritmada, öncelikle kameradan alınan görüntü çerçevelerinde ten tespitinin yapılması ve çevrit bölgelerinin bulunması işlemleri gerçekleştirilmektedir. Çevrit bölgeleri bulunan görüntülerin, Hu Momentleri çıkartılmaktadır. Çıkartılan Hu Momentleri sistemde öznitelikler olarak kullanılmakta ve bu öznitelikler Ana Bileşen Çözümleme (Principal Component Analysis - PCA) işlemine tabi tutularak, aynı işlemlerden geçen veritabanındaki işaret dili resimleri ile kıyaslanıp eşleştirme işlemi yapılmakta ve en yakın olarak belirlenen harf ekrana yazdırılmaktadır. Eşleştirme için Öklid ve Manhattan uzaklık ölçütleri denenmiş ve en başarılı sonuçların Öklid uzaklık ölçütü ile elde edildiği gösterilmiştir. Geliştirilen sistem, Hu Momentlerine PCA uygulanmadan ve uygulanarak gerçek zamanlı olarak çalıştırılmış ve yedi adet olan Hu Momentleri ile tanıma başarımı %76 iken, PCA ile dönüştürülmüş Hu Momentlerinin boyutu üçe düşürüldüğünde tanıma başarımının %95 oranına yükseldiği gösterilmiştir.