Ultrason RF işaretlerinin oluşturduğu görüntülere donanım tabanlı hızlandırılmış derin öğrenme yöntemleri uygulanarak B-Mod görüntü çözünürlüğünün gerçek zamanlı artırılması


Kılıçaslan İ., Bilge H. Ş. (Yürütücü)

TÜBİTAK Projesi, 2022 - 2024

  • Proje Türü: TÜBİTAK Projesi
  • Başlama Tarihi: Mart 2022
  • Bitiş Tarihi: Mart 2024

Proje Özeti

Ultrasonik (US) görüntüleme, noninvazif, iyonize olmayan, zararsız ve gerçek zamanlı görüntüleme yöntemi olmasından dolayı medikal alanda önemli bir teşhis aracı olarak kullanılmaktadır. Fakat US görüntülemede düşük çözünürlüklü (DÇ) görüntüler elde edilmektedir. Bu modalitenin görüntü kalitesini artırmak için yapılacak olan donanımsal çalışmaların sınırlı kalmasından dolayı, yazılımsal çalışmalar alternatif olarak sunulmaktadır. Süper çözünürlük (SÇ) işlemi, mevcut olan görüntünün belirli bir ölçekte büyütülmesiyle beraber mevcut olan görüntü çözünürlüğünü iyileştirme, hatta daha iyi detaylara sahip görüntü elde etme yöntemidir. US görüntülerin iyileştirilmesi için uygulanan SÇ yöntemleri genellikle US görüntülemenin son aşaması olan B-Mod görüntüler üzerinde ve tek görüntü kullanılarak yapılmaktadır. Fakat nihai B-Mod görüntülerin oluşturulması, US problarının ilk aşama olarak yakaladıkları ham radyo frekans (RF) sinyalinden son aşama olan B-Mod görüntü oluşturuluncaya kadar, birçok aşamadan geçerek oluşturulmaktadır. Donanımsal kısıtlamalardan dolayı alınan işaretlerden yeterli bilgilerin olmaması DÇ B-Mod görüntülere neden olmaktadır. Diğer taraftan, aynı ortamı görüntüleyen birden fazla görüntü daha fazla uzaysal bilgi içermekte ve bu görüntülerin kullanılarak birleştirilmesi daha fazla bilginin açığa çıkmasını sağlayacaktır. Birden çok DÇ US görüntülerinin tek görüntüden daha fazla uzaysal bilgi içerdiği gerçeğinde dolayı ve klasik yöntemlerle B-Mod görüntülerin oluşturulma aşamasında yaşanan bilgi kayıplarını önlemek amacıyla bu projede birden fazla DÇ US ham RF görüntüsü kullanılarak donanım tabanlı ve gerçek zamanlı çözünürlük artırılması amaçlanmıştır. Gerçek zamanlı uygulamalarda hız ve tüketilen enerji miktarı sistemin performansını belirleyen en önemli iki parametredir. Bu projede hız ve güç tüketimi konusundaki avantajlarından dolayı alanda programlanabilir kapı dizisi (Field Programmable Gate Array, FPGA) derin öğrenme yönteminin özel donanımsal uygulamasında kullanılacaktır. FPGA donanımının performansı Roofline modeli kullanılarak artırılacaktır. Roofline modeline göre FPGA’in ulaşabileceği maksimum performansa ulaşabilmesi için bazı parametrelerin optimum değerde seçilmesi gerekmektedir. Bu projede ayarlanması gereken bu parametreler sezgisel optimizasyon yöntemleri kullanılarak belirlenecektir. Özgün Değer:

Bu projede birden fazla US ham RF işaretlerinin oluşturduğu görüntüler kullanılarak, daha yüksek çözünürlüğe sahip US B-Mod görüntüleri oluşturulacak ve donanımsal olarak FPGA üzerinde gerçeklenecektir. Donanım performansını artırmak için seçilen Roofline modelinde kullanılan parametrelerin optimum şekilde belirlenmesi için optimizasyon algoritmalarından yararlanılacaktır.

 

Yöntem:

Projede veri toplamak için ilk önce US probu, US fantomu ve görüntü kayıt sisteminden oluşan bir deney düzeneği kurulacaktır. Deney düzeneği kurulana kadar projenin aksamaması için Field II ve SIMUS US simülasyon programları kullanılarak RF sinyallerden oluşan görüntüler ve nihai B-Mod görüntüleri oluşturularak çalışmalar sürdürülecektir. Düşük çözünürlüklü US görüntülerinin SÇ işlemi uygulanarak çözünürlüğünün artırılması için, birden fazla US ham RF sinyallerinden oluşturulan görüntüler çakıştırılarak kullanılacaktır. SÇ ve çakıştırma işlemleri için danışmanlı derin ağ modelleri eğitilerek belirlenen parametrelere göre ağ mimarileri belirlenecektir. Ağ mimarisi ve kullanılacak parametreler belirlendikten sonra, çıkarım aşaması FPGA tabanlı gerçek zamanlı yapılacaktır. Donanım performansının artırılması için çeşitli optimizasyon yöntemleri ve Roofline modeli kullanılarak parametreler belirlenecektir.