Akademik Veri Yönetim Sistemi
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Gazi Üniversitesi, Fen Bilimleri Enstitüsü, Türkiye
Tezin Onay Tarihi: 2022
Tezin Dili: Türkçe
Öğrenci: AHMET SAMET HALICI
Danışman: Ayşe Demirhan
Özet:
Sosyal medya platformlarında düzenlenmiş video paylaşımlarının ve içerik tüketimlerinin hızla artması ile video düzenleme üzerinde yoğun olarak çalışılan aktif bir konu haline gelmiştir. Bu tez çalışmasında videoların özetlenebilmesi için videodaki kişilerin hareketlerinin poz tahmini algoritmalarının çıktılarını kullanan bir takip yöntemi geliştirilerek anlamlandırılması ve en önemli sahnelerin parçalanarak bir arka plan müziğine göre birleştirilmesi amaçlanmıştır. Literatürdeki çeşitli poz tahmini algoritmalarının geliştirilen poz takibi yöntemine etkisi ile farklı ön işleme adımlarının poz takibi başarımına katkıları PoseTrack veri kümesi kullanılarak incelenmiştir. Kişi takibinin sonucunda elde edilen zamana bağlı eklem noktası dizilerini kullanarak derin öğrenme yöntemleri ile hareketleri tanıma işlemi gerçekleştirilmiştir. Ayrıca video içeriğindeki muhtemel başrol oyuncuları tespit edilerek karakterlerin davranışlarına ve belirlenen kurguya göre en değerli sahnelerin belirlenmesi için analizler yapılmıştır. Tüm bu çalışmaların yapılabilmesi için insansız hava aracı ile kaydedilen 396 037 görüntüden oluşan yeni bir video veri kümesi meydana getirilmiştir. Veri kümesi ile ilgili detaylara posedrone.com sayfasından erişilebilir. Oluşturulan veri kümesi üzerinde 7 hareket sınıfı için 33 083 adet kişinin eklem noktalarının etiketlenmesi yapılmıştır. Görüntülerin ham hali ve OpenPose kullanılarak etiketlenen doğru veriler posedrone.com sayfasında yayınlanmıştır. Poz tahmini yöntemleri için geliştirilen ön işleme adımları; PoseTrack veri kümesi üzerinde MOTA değerinde DCPose için %21.2, OpenPose için %22.6 iyileştirme sağlamıştır. Hareket tanıma için tasarlanan modele veri kalitesini artırmak için uygulanan işlemlerinin de olumlu katkı sağladığı gösterilmiştir. Video özetleme için poz tahmini, poz takibi, hareket tanıma ve en değerli sahne algoritmalarının birbirinden bağımsız olarak güncellenebildiği bir alt yapı meydana getirilmiştir. Müzik sinyalindeki vuruşların zamanları tespit edilerek sahneler arası geçiş yapan yeni bir video özetleme yöntemi geliştirilmiştir. Literatürde bir ilk olan hem hareket tanıma hem de video özetleme alanında birlikte kullanılabilecek insansız hava aracı ile kaydedilen veri kümesi yayınlanmıştır.
Anahtar Kelimeler : Video özetleme, poz tahmini, gerçek zamanlı poz takibi, iskelet
tabanlı eylem tanıma