Evrişimsel sinir ağlarını kullanarak sahte yüz görüntülerinin tespit edilmesi

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye

Tezin Onay Tarihi: 2023

Tezin Dili: Türkçe

Öğrenci: Emre ŞAFAK

Danışman: Necaattin Barışçı

Özet:

Sahte yüz içeren görüntü ve videolar en yaygın dijital manipülasyon türüdür. Bu içerikler yanlış bilgilerin yayılmasına neden olarak birçok istenmeyen duruma sebep olabilir. Özellikle sahte yüz görüntüsü üretiminde makine öğrenmesi algoritmalarının kullanılması sahte içeriklerin ayırt edilmesini oldukça zorlaştırmıştır. Yüz manipülasyonları tüm yüz sentezi, kimlik değiştirme, nitelik manipülasyonu ve ifade değiştirme olmak üzere 4 temel gruba ayrılır. Yapılan çalışmada tüm yüz sentezi ile çekişmeli üretici ağlar kullanılarak üretilen sahte yüz görüntülerinin tespit edilebilmesi için hafif evrişimsel sinir ağları kullanılmıştır. Eğitim işleminde kullanılan veri setinde FFHQ veri setindeki 70.000 gerçek görüntü ile FFHQ veri seti kullanılarak StyleGAN2 ile üretilen 70.000 sahte görüntü yer almaktadır. Veri setinin %80’i eğitim %20’si test işlemi için kullanılmıştır. İlk olarak eğitim işlemi için MobileNet, MobileNetV2, EfficientNetB0 ve NASNetMobile evrişimsel sinir ağları ayrı ayrı eğitilmiştir. Eğitim işleminde modeller ImageNet üzerinde ön eğitilmiş olarak transfer öğrenme ile tekrar kullanılmıştır. İlk eğitimler sonucunda EfficientNetB0 algoritması %93,64 ile en yüksek doğruluk oranına ulaşmıştır. Doğruluk oranını artırabilmek için en yüksek EfficientNetB0 algoritmasına transfer öğrenme için ReLU aktivasyon fonksiyonuna sahip iki yoğun katman (256 nöron), iki bırakma katmanı, bir düzleştirme katmanı, ReLU aktivasyon fonksiyonuna sahip bir yoğun katman (128 nöron) ve sınıflandırma için kullanılan softmax aktivasyon fonksiyonuna sahip iki düğümlü yoğun katman eklenmiştir. Bu işlem sonucu EfficientNetB0 algoritmasıyla %95,48 doğruluk oranına ulaşılmıştır. Son olarak %95,48 doğruluk oranına ulaşan model ile MobileNet ve MobileNetV2 modelleri yığınlama topluluk öğrenme yöntemi ile birlikte eğitilerek %96,44 ile en yüksek doğruluk oranına ulaşılmıştır.

Anahtar Kelimeler : Sahte yüz tespiti, yüz manipülasyon tespiti, hafif evrişimsel sinir ağı modeli, derin öğrenme, transfer öğrenme, topluluk öğrenme, yığınlama topluluk öğrenme