DERİN SİNİR AĞLARI KULLANILARAK STEREO TERMAL VE ÇAPRAZ MODALİTE İLE DERİNLİK TAHMİNİ


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Fen Bilimleri Enstitüsü, ELEKTRİK ELEKTRONİK MÜHENDİSLİĞİ ANA BİLİM DALI, Türkiye

Tezin Onay Tarihi: 2021

Tezin Dili: Türkçe

Öğrenci: Ahmet Faruk AKYÜZ

Danışman: Hasan Şakir Bilge

Özet:

Stereo görüntüler kullanılarak derinlik tahmini, bilgisayarlı görme alanında zorlu bir problemdir. Bu problemi çözmek için birçok farklı çalışma yapılmıştır. Gelişen makine öğrenimi ile bu sorunun üstesinden gelmek genellikle sinir ağı tabanlı çözümlerle yapılır. FADNet ve PSMNet sinir ağları, başarıları kanıtlanmış, günümüzde kullanılmaya devam edilen bu çözümlerin önde gelenlerinden ikisidir. Bu tezde, bu iki çalışma, yapılarında uygun değişiklikler yapılarak kullanılmıştır. Öte yandan, bu çözümlerde kullanılan görüntüler çoğunlukla görünür spektrumdadır. Ancak, bazı koşullarda görünür spektrumlardan daha faydalı bilgiler vermesi nedeniyle derinlik tahmini için Kızılötesi (IR) spektrumunun da kullanılma ihtiyacı ortaya çıkmıştır. Bu kapsamda, kullanılabilir veri kümesi olarak CATS veri kümesi bulunmuştur. Fakat bu veri kümesi, kendisinde mevcut olan doğrultulmuş görüntülerin uyumsuzluğu sebebiyle olduğu gibi kullanılamamıştır. Termal-termal görüntü çiftleri için CATS veri kümesinde bulunan ham görüntüler ile LiDAR cihazından elde edilmiş, sahnenin derinliğini ifade eden, uzaysal nokta kümeleri çeşitli işlemlerden geçirilerek sinir ağlarını eğitmek için uygun hale getirilmiştir. Diğer yandan, görünür-termal görüntü çiftleri içinde, CATS veri kümesinde bulunan mevcut görüntüler, görünür kamera ve termal kameraların bakış alanlarının (FOV) farklı olması sebebiyle kullanılamamış, bunun yerine, yeni bir veri kümesi oluşturulmuştur. Oluşturulan bu veri kümesinde, LiDAR cihazından elde edilen ayrık örnekleme sayısının yetersizliği sebebiyle, örnek arttırma işlemi yapılmıştır. Bu çalışmada, FADNet ve PSMNet sinir ağları, termal-termal ve görünür-termal görüntü çiftleriyle ayrı ayrı eğitilerek sonuçları karşılaştırılmıştır.


Anahtar Kelimeler

CNN, Termal stereo eşleştirme, Derinlik tahmini, Derin sinir ağları