基于点云强化学习的主动搜索与覆盖
系统与控制
2023-12-19 v1 机器学习
系统与控制
摘要
我们研究了一个问题，即必须优化移动 3D 传感器的轨迹，以便尽快在整体场景中发现特定对象并被点云覆盖。该问题称为目标搜索与覆盖，本文提供了一种端到端的深度强化学习 (RL) 解决方案来解决它。深度神经网络结合了四个组件：第一阶段进行深度分层特征学习，第二阶段采用多头 Transformer，第三阶段进行最大池化并与旁路信息合并以保留空间关系，最后阶段使用分布 Dueling 网络。为了评估该方法，我们开发了一个模拟器，其中必须通过 Kinect 传感器找到圆柱体。网络架构研究表明，深度分层特征学习适用于 RL，并且通过使用最远点采样 (FPS)，我们可以减少点数，不仅减小了网络规模，还取得了更好的结果。我们还表明，用于点云的多头注意力机制有助于智能体更快地学习，但会收敛到相同的结果。最后，我们将使用最佳网络的 RL 与一种贪婪基线进行了比较，该基线最大化即时奖励，为此需要一个预测下一次观测的 Oracle。我们得出结论，RL 取得了比贪婪策略显著更好且更鲁棒的结果。
引用
@article{arxiv.2312.11410,
title = {Active search and coverage using point-cloud reinforcement learning},
author = {Matthias Rosynski and Alexandru Pop and Lucian Busoniu},
journal= {arXiv preprint arXiv:2312.11410},
year = {2023}
}