FUNCTO：面向工具操作的以功能为中心的一次性模仿学习
机器人学
2025-02-24 v2 计算机视觉与模式识别
摘要
从单个人类演示视频中学习工具使用，为机器人教学提供了一种高度直观且高效的方法。尽管人类能够毫不费力地将演示的工具操作技能泛化到支持相同功能的各种工具上（例如，用马克杯与用茶壶倒水），但当前的一次性模仿学习（OSIL）方法却难以实现这一点。一个关键挑战在于，在具有相同功能但几何形状存在显著差异（即功能内差异）的工具之间，建立演示工具与测试工具的功能对应关系。为了应对这一挑战，我们提出了 FUNCTO（面向工具操作的以功能为中心的 OSIL），这是一种利用 3D 功能关键点表示建立以功能为中心的对应关系的 OSIL 方法，使机器人能够将来自单个人类演示视频的工具操作技能泛化到具有相同功能但存在显著功能内差异的新颖工具上。基于该表述，我们将 FUNCTO 分解为三个阶段：（1）功能关键点提取，（2）以功能为中心的对应关系建立，以及（3）基于功能关键点的动作规划。我们通过在多样化工具操作任务上的真实机器人实验，将 FUNCTO 与现有的模块化 OSIL 方法和端到端行为克隆方法进行了评估。结果表明，在泛化到具有功能内几何差异的新颖工具时，FUNCTO 表现出优越性。更多详情请访问 https://sites.google.com/view/functo。
引用
@article{arxiv.2502.11744,
title = {FUNCTO: Function-Centric One-Shot Imitation Learning for Tool Manipulation},
author = {Chao Tang and Anxing Xiao and Yuhong Deng and Tianrun Hu and Wenlong Dong and Hanbo Zhang and David Hsu and Hong Zhang},
journal= {arXiv preprint arXiv:2502.11744},
year = {2025}
}