Evrişimli Ve Yinelemeli Sinir Ağları İle Görüntülere Başlık Atama


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2021

Tezin Dili: Türkçe

Öğrenci: Tunahan Kunt

Danışman: NECAATTİN BARIŞÇI

Özet:

Görüntülere başlık atama, insan yardımı olmaksızın bilgisayar tarafından görüntü içeriğini betimleyen cümle kurma olarak tanımlanabilir. Görüntülere başlık atama problemi ile sadece görüntüdeki objeleri anlamak değil aynı zamanda objelerin birbiri ile ilişkilerini anlayarak bunları bir cümle haline getirmek amaçlanmıştır. Bu bağlamda görüntülere başlık atama problemi, bilgisayarla görü ve doğal dil işleme alanlarının kesişiminde bulunur ve her iki alanın da zorluklarını bünyesinde barındırır. Karşılaşılan zorlukları çözmek adına farklı mimarilere sahip çalışmalar ortaya konulmuştur. Fakat literatürdeki çalışmaların birçoğu Cermen dil ailesine mensup dillerde özellikle İngilizce dilinde yoğunlaşmıştır. Kendi ana dilimiz olan Türkçe dilinde ise görüntülere başlık atama alanında yapılan çalışma sayısı oldukça azdır. Bu bağlamda bu tez, Türkçe dilinde görüntülere başlık atama alanında yapılmıştır. Önerilen çalışma kapsamında, Türkçe dilinin sondan eklemeli yapısı gözetilerek işlenen veri kümesi ile halihazırda İngilizce dilinde görüntülere başlık atama problemini çözmek için kullanılan modeller ve bu modeller üzerine yapılan birtakım iyileştirmeler ile oluşturulan yeni modeller eğitilmiştir. Bazı modellerde topluluk öğrenmesinin kullanıldığı, bazı modellerde de dikkat mekanizmasının eklendiği çalışmada evrişimli ve yinelemeli sinir ağlarından oluşan kodlayıcı-kod çözücü mimariye sahip modellerin çıktıları açgözlü arama veya ışın araması yöntemleriyle cümle haline getirilmiştir ve oluşturulan cümleler iki dilli değerlendirme ölçeği yöntemiyle değerlendirilmiştir. Yapılan deneylerin sonucunda en yüksek 0.424 BLEU-1 puanı elde edilmiştir. Elde edilen puan görüntülere başlık atama alanındaki Türkçe veri kümesi ile yapılan araştırmalar arasında en yüksek puan olmuştur