通过多模态和分层框架提升长期人类-机器人协作的鲁棒性
机器人学
2025-02-05 v2
摘要
长期人类-机器人协作 (HRC) 对实现灵活的制造系统并将伴侣机器人集成到日常人类环境中至关重要。本文确定了一系列关键挑战，如准确识别人类计划、对干扰的鲁棒性、操作效率、适应多样化用户行为以及维持人类满意度。为应对这些挑战，我们通过分层任务图建模长期 HRC 任务，并提出一种新型的多模态和分层框架，以使机器人更好地帮助人类在任务图上前进。具体而言，所提出的多模态框架将视觉观察与语音指令相结合，以促进直观且灵活的人类-机器人交互。此外，我们为人类姿态检测和计划预测所设计的分层结构允许更好地理解人类行为，显著提升系统的准确性、鲁棒性和灵活性。此外，一种在线适应机制使系统能够实时调整以适应多样化的用户行为。我们将所提出的框架部署在KINOVA GEN3 机器人上，并在真实世界的长期 HRC装配场景中进行大规模用户研究。实验结果表明，我们的方法将任务完成时间缩短 15.9%，在长期 HRC 任务中实现 91.8% 的平均任务成功率和 84% 的总体用户满意度，展示了在提升现实世界长期 HRC 中所需的适用性。
引用
@article{arxiv.2411.15711,
title = {Robustifying Long-term Human-Robot Collaboration through a Multimodal and Hierarchical Framework},
author = {Peiqi Yu and Abulikemu Abuduweili and Ruixuan Liu and Changliu Liu},
journal= {arXiv preprint arXiv:2411.15711},
year = {2025}
}