Su altı araçları genellikle sınırlı hareket kabiliyetine sahiptir. Bu çalışma, bu problemin çözümüne odaklanmaktadır. Çalışmada Monterey Körfezi Akvaryumu Araştırma Enstitüsü tarafından geliştirilen Tethys UMOSA (Uzun Menzilli Otonom Su Altı Aracı) [1] üzerinde Yeniden Güçlendirme Öğrenmesi (RL) algoritmasının kullanılması incelenmiştir. Deneyler Gazebo simülasyon ortamında [2] gerçekleştirilmiştir. Yapılan deneylerde, Paper ve arkadaşları tarafından geliştirilen Tethys UMOSA’nın modellendiği Gazebo su altı simülasyon ortamı [3] kullanılmıştır. Geleneksel denetleyicilerin yerine gerçek zamanlı olarak Yeniden Güçlendirme Öğrenmesi (RL) algoritmalarının kullanılması incelenmiştir. UMOSA’nın yörüngesini belirlemek için Derin Q-Ağları (DQN) algoritması kullanılmıştır. Gazebo simülasyon ortamındaki su altı aracının kontrolü Robot İşletim Sistemi (ROS) kullanılarak sağlanmıştır. Sonuçlar geleneksel denetleyicilere kıyasla RL tabanlı algoritmaların potansiyel avantajlarını göstermektedir. Çalışma sonucunda UMOSA modellerinde Derin Q-Ağları algoritmasının gerçek zamanlı kontrol için verimli olarak kullanılabileceği ve simülasyon ortamında Derin Q-Ağları için gereken eğitim ortamının gerçekleştirilebilecği gözlemlenmiştir.
This study focuses on addressing the limited maneuverability typically associated with underwater vehicles. The study investigates Reinforcement Learning (RL) algorithms on Tethys LRAUV (Long-Range Autonomous Underwater Vehicle), developed by the Monterey Bay Aquarium Research Institute [1]. Experiments were conducted in the Gazebo simulation environment [2]. The experiments utilized the Gazebo underwater simulation environment [3], which models the Tethys LRAUV developed by Paper et al. RL algorithms were examined in real-time, replacing traditional controllers. The Deep Q-Networks (DQN) algorithm was employed to determine the trajectory of LRAUV. Control of the Gazebo underwater vehicle was facilitated using the Robot Operating System (ROS). Results indicate the potential advantages of RL-based algorithms compared to traditional controllers. The study concludes that the Deep Q-Networks algorithm can be efficiently utilized for real-time control of LRAUV models, and the training environment required for Deep Q-Networks can be achieved in the simulation environment.
