CQLite：基于覆盖偏置分布式 Q-Learning 的通信高效多机器人探索
机器人学
2024-01-19 v2 多智能体系统
摘要
前沿探索与强化学习历来被用于解决使多个移动机器人自主协作探索复杂环境的问题。这些方法需要维护内部全局地图用于导航，但未考虑机器人之间通信与信息共享的高昂代价。本研究提出 CQLite，一种新颖的分布式 Q-learning 技术，旨在最小化机器人间数据通信开销，同时在多机器人探索中实现快速收敛与全面覆盖。所提出的 CQLite 方法采用自组织地图合并，并有选择地共享新发现前沿处的更新 Q 值，以显著降低通信成本。对 CQLite 收敛性与效率的理论分析，以及在模拟室内地图上使用多机器人进行的大量数值验证，证明了该方法的新颖性。CQLite 在计算与通信上降低超过 2 倍的同时改善了建图性能，优于 Rapidly Exploring Random Trees 和 Deep Reinforcement Learning 等前沿多机器人探索技术。相关代码已开源：\url{https://github.com/herolab-uga/cqlite}。
引用
@article{arxiv.2307.00500,
title = {CQLite: Communication-Efficient Multi-Robot Exploration Using Coverage-biased Distributed Q-Learning},
author = {Ehsan Latif and Ramviyas Parasuraman},
journal= {arXiv preprint arXiv:2307.00500},
year = {2024}
}
备注
Accepted by RA-L