Title: Bayesian Optimization of Hyperparameters in Deep Q-Learning Networks for Real-Time Robotic Navigation Tasks

Abstract: Navigating autonomously is a crucial capability for modern robots, as navigating in unknown and constantly altering environments is not an easy task. A powerful reinforcement learning method known as Deep Q-Learning (DQL) has recently been introduced for decision-making in robotic navigation; nevertheless, it is known to deliver subpar results due to its overreliance on hyperparameters, including learning rate, discount factor, exploration strategy, and even network architecture. This paper deals with the issue of hyperparameter optimization tuning via Bayesian Optimization (BO) on a DQN (Deep Q Network) focusing on real-time navigation tasks attempting to enhance convergence speed, sample efficiency, and generalization. We present a new BO-DQN framework, which uses \textit{Gaussian process} surrogate models with the UCB acquisition function, which allows for better refinement during later iterations of DQN training. An array of simulations and real-world robotic environments were tested, with results indicating that the BO-tuned models... outperform both grid and random search baselines with a greater rate of convergence, increased stability, and improved accuracy on the tasks. Furthermore, the proposed method performed remarkably well when exposed to noisy sensors and changing task complexities. This work offers a practical approach to deploying DQN policies on mobile robots working in uncertain conditions due to its low sample requirement and its real-time responses.

Keywords: Deep Q-Learning, Bayesian Optimization, Robotic Navigation, Hyperparameter Tuning.

Başlık: Gerçek Zamanlı Robotik Navigasyon Görevleri için Derin Q-Öğrenme Ağlarında Hiperparametrelerin Bayes Optimizasyonu

Özet: Otonom olarak gezinmek, bilinmeyen ve sürekli değişen ortamlarda gezinmek kolay bir iş olmadığından, modern robotlar için hayati bir yetenektir. Derin Q-Öğrenme (DQL) olarak bilinen güçlü bir takviyeli öğrenme yöntemi, robotik gezinmede karar alma için yakın zamanda tanıtıldı; ancak, öğrenme oranı, iskonto faktörü, keşif stratejisi ve hatta ağ mimarisi gibi hiperparametrelere aşırı güvenmesi nedeniyle vasat sonuçlar verdiği bilinmektedir. Bu makale, yakınsama hızını, örnek verimliliğini ve genellemeyi artırmaya çalışan gerçek zamanlı gezinme görevlerine odaklanan bir DQN (Derin Q Ağı) üzerinde Bayes Optimizasyonu (BO) yoluyla hiperparametre optimizasyonu ayarlama sorununu ele almaktadır. UCB edinme işleviyle \textit{Gaussian süreci} vekil modellerini kullanan ve DQN eğitiminin sonraki yinelemeleri sırasında daha iyi iyileştirme sağlayan yeni bir BO-DQN çerçevesi sunuyoruz. Bir dizi simülasyon ve gerçek dünya robotik ortamı test edildi ve sonuçlar BO ayarlı modellerin... hem ızgara hem de rastgele arama temel çizgilerini daha yüksek bir yakınsama oranı, artan kararlılık ve görevlerde iyileştirilmiş doğrulukla geride bıraktığını gösterdi. Dahası, önerilen yöntem gürültülü sensörlere ve değişen görev karmaşıklıklarına maruz kaldığında dikkate değer bir performans gösterdi. Bu çalışma, düşük örnek gereksinimi ve gerçek zamanlı yanıtları nedeniyle belirsiz koşullarda çalışan mobil robotlarda DQN politikalarının dağıtımına yönelik pratik bir yaklaşım sunmaktadır.

Anahtar kelimeler: Derin Q-Öğrenme, Bayes Optimizasyonu, Robotik Navigasyon, Hiperparametre Ayarı.