Robo-ABC：基于语义对应实现超越类别的可供性泛化以用于机器人操作
机器人学
2024-01-17 v1 计算机视觉与模式识别
摘要
使机器人操作能够泛化到分布外场景，是迈向开放式世界具身智能的关键一步。对于人类而言，这种能力植根于对物体间语义对应的理解，从而自然地将熟悉物体的交互经验迁移到新物体上。尽管机器人缺乏这样的交互经验储备，但互联网上大量可用的人类视频可以作为一种宝贵资源，我们从中提取包含接触点的可供性记忆。受人类自然思维方式的启发，我们提出Robo-ABC框架：当面对需要泛化的不熟悉物体时，机器人可以通过从可供性记忆中检索具有视觉或语义相似性的物体来获取可供性。下一步是将检索到的物体的接触点映射到新物体上。虽然建立这种对应乍看可能面临巨大挑战，但近期研究发现，这种对应会自然地从预训练扩散模型中涌现，从而使得即使跨不同物体类别也能实现可供性映射。通过Robo-ABC框架，机器人能够以零样本方式泛化操作类别外物体，无需任何人工标注、额外训练、部件分割、预编码知识或视角限制。定量而言，与最先进的端到端可供性模型相比，Robo-ABC将视觉可供性检索的准确率大幅提升了31.6%。我们还进行了跨类别物体抓取任务的真实世界实验。Robo-ABC取得了85.7%的成功率，证明了其执行真实世界任务的能力。
引用
@article{arxiv.2401.07487,
title = {Robo-ABC: Affordance Generalization Beyond Categories via Semantic Correspondence for Robot Manipulation},
author = {Yuanchen Ju and Kaizhe Hu and Guowei Zhang and Gu Zhang and Mingrun Jiang and Huazhe Xu},
journal= {arXiv preprint arXiv:2401.07487},
year = {2024}
}