CANVAS：面向直观人类-机器人交互的常识感知导航系统
机器人学
2025-08-11 v3 计算机视觉与模式识别
机器学习
摘要
实际的人类-机器人导航远不止于到达目标；它需要在满足场景特定目标的同时优化运动方式。人类表达这些目标的直观方式是通过抽象提示，如语言指令或粗略草图。此类人类指导可能缺乏细节或存在噪声，但我们期望机器人按预期进行导航。为了让机器人能够解释并执行这些抽象指令以符合人类期望，必须与人类共享基本导航概念的共同理解。为此，我们提出了 CANVAS——一种结合视觉与语言指令的常识感知导航框架。其成功归功于模仿学习，使机器人能够从人类导航行为中学习。我们构建了 COMMAND 数据集，包含人类标注的导航结果，覆盖超过 48 小时和 219 公里的场景，旨在训练具备常识感知能力的导航系统于仿真环境中。我们的实验表明，CANVAS 在所有环境中均优于强规则基系统 ROS NavStack，尤其在噪声指令下表现突出。值得注意的是，在果园环境中，ROS NavStack 记录 0% 的总体成功率，而 CANVAS 达到了 67%。CANVAS 还能与人类演示和常识约束保持紧密一致，即使在未见环境中亦如此。进一步地，CANVAS 的实际部署展示了惊人的 Sim2Real 迁移能力，总体成功率达 69%，凸显了从仿真环境中学习人类演示在实际应用中的潜力。
引用
@article{arxiv.2410.01273,
title = {CANVAS: Commonsense-Aware Navigation System for Intuitive Human-Robot Interaction},
author = {Suhwan Choi and Yongjun Cho and Minchan Kim and Jaeyoon Jung and Myunchul Joe and Yubeen Park and Minseo Kim and Sungwoong Kim and Sungjae Lee and Hwiseong Park and Jiwan Chung and Youngjae Yu},
journal= {arXiv preprint arXiv:2410.01273},
year = {2025}
}
备注
Accepted to ICRA 2025, project page https://worv-ai.github.io/canvas