异步主动视觉-动作模型用于机器人操作
机器人学
2025-02-13 v3 计算机视觉与模式识别
摘要
在实际场景中，许多机器人操作任务因视野遮挡和视野范围受限而受到被动观察基于模型的限制，这些模型依赖固定或腕部安装的摄像机。在本文中，我们研究受限视觉观察下的机器人操作问题，提出一种任务驱动的异步主动视觉-动作模型。我们的模型串联连接一个摄像机 Next-Best-View（NBV）策略与夹爪 Next-Best Pose（NBP）策略，并通过少样本强化学习在传感器-动作协调框架中进行训练。该方法允许智能体根据任务目标主动调整第三人称摄像机进行环境观察，然后推断合适的操作动作。我们在 RLBench 上训练和评估了该模型，针对8个视点受限任务进行测试。结果表明，我们的模型持续优于基线算法，展示了其在处理操作任务中的视觉约束方面的有效性。
引用
@article{arxiv.2409.14891,
title = {Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation},
author = {Guokang Wang and Hang Li and Shuyuan Zhang and Di Guo and Yanhong Liu and Huaping Liu},
journal= {arXiv preprint arXiv:2409.14891},
year = {2025}
}