仅演示一次：基于单视觉演示的类别级操作
机器人学
2022-05-09 v2 人工智能
计算机视觉与模式识别
系统与控制
系统与控制
摘要
近年来，在跨物体实例泛化的类别级操作方面已取得令人鼓舞的成果。然而，这通常需要昂贵的真实世界数据收集，并为每个物体类别和任务手动指定语义关键点。此外，粗糙的关键点预测以及忽略中间动作序列，阻碍了其在抓取-放置之外的复杂操作任务中的应用。本文提出了一种新颖的类别级操作框架，其利用以物体为中心的类别级表示和无模型的6自由度运动跟踪。规范物体表示仅在仿真中学习，然后用于从单个演示视频中解析出类别级任务轨迹。该演示通过规范表示被重投影到针对新物体的目标轨迹上。在执行过程中，操作时域被分解为长距离、无碰撞运动与末段精细操作。对于后者，一种类别级行为克隆（CatBC）方法利用运动跟踪执行闭环控制。CatBC遵循从演示投影并锚定到动态选择的类别级坐标系的目标轨迹。该坐标系由局部注意力机制沿操作时域自动选择。该框架仅需提供单次演示即可教授不同的操作策略，无需复杂的手动编程。大量实验证明了其在高精度装配中一系列具有挑战性的工业任务中的有效性，这些任务涉及学习复杂的长时域策略。该过程对由于动力学带来的不确定性表现出鲁棒性，并能在物体实例和场景配置之间泛化。补充视频见 https://www.youtube.com/watch?v=WAr8ZY3mYyw
引用
@article{arxiv.2201.12716,
title = {You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration},
author = {Bowen Wen and Wenzhao Lian and Kostas Bekris and Stefan Schaal},
journal= {arXiv preprint arXiv:2201.12716},
year = {2022}
}