HEADER：基于注意力深度强化学习的层次化机器人探索
机器人学
2025-10-20 v1
摘要
本工作推动了基于学习的方法在机器人自主探索领域的边界，尤其在环境规模和探索效率方面。我们提出了 HEADER（Hierarchical Robot Exploration via Attention-Based Deep Reinforcement Learning with Expert-Guided Reward），这是一种基于注意力机制的强化学习方法，利用层次化图实现高效探索。HEADER 沿袭现有常规方法构建机器人信念/地图的层次化表示，但进一步设计了一种新颖的社区化算法，用于构建和更新全局图，该算法完全增量式、形状自适应，时间复杂度为线性。基于注意力网络，我们的规划器在局部范围内细致推理附近信念，同时在全局尺度上粗略利用远处信息，从而实现考虑多尺度空间依赖性的下一最佳视点决策。除新颖的地图表示外，我们还引入了无参数化的特权奖励，这显著提高了模型性能，产生接近最优的探索行为，避免了由人工奖励设计引起的训练目标偏差。在模拟的具有挑战性的大规模探索场景中，HEADER 在可扩展性上优于大多数现有学习与非学习方法，同时在探索效率上相较于最先进的基线提升了最高达 20%。我们还将 HEADER 部署到硬件平台，并在复杂的大规模真实场景中进行验证，包括 300m×230m 的校园环境。
引用
@article{arxiv.2510.15679,
title = {HEADER: Hierarchical Robot Exploration via Attention-Based Deep Reinforcement Learning with Expert-Guided Reward},
author = {Yuhong Cao and Yizhuo Wang and Jingsong Liang and Shuhao Liao and Yifeng Zhang and Peizhuo Li and Guillaume Sartoretti},
journal= {arXiv preprint arXiv:2510.15679},
year = {2025}
}