OffRIPP:基于离线强化学习的 informative path planning
机器人学
2024-09-26 v1 人工智能
摘要
信息路径规划(IPP)是机器人学中的一项关键任务,智能体必须设计路径以在遵守资源约束的同时收集关于目标环境的有价值信息。强化学习(RL)已被证明对 IPP 有效,然而它需要环境交互,这在实践中既危险又昂贵。为了解决这个问题,我们提出了一种基于离线 RL 的 IPP 框架,该框架在训练期间无需实时交互即可优化信息增益,通过避免交互提供了安全性和成本效益,并在执行期间具备卓越的性能和快速的计算能力——这些都是 RL 的关键优势。我们的框架利用批量约束强化学习来缓解外推误差,使智能体能够从由任意算法生成的预收集数据集中学习。我们通过广泛的模拟和真实世界实验验证了该框架。数值结果表明,我们的框架优于基线方法,证明了所提出方法的有效性。
引用
@article{arxiv.2409.16830,
title = {OffRIPP: Offline RL-based Informative Path Planning},
author = {Srikar Babu Gadipudi and Srujan Deolasee and Siva Kailas and Wenhao Luo and Katia Sycara and Woojun Kim},
journal= {arXiv preprint arXiv:2409.16830},
year = {2024}
}
备注
7 pages, 6 figures, submitted to ICRA 2025