从操作视频中提取接触与运动
计算机视觉与模式识别
2019-02-05 v3 机器人学
摘要
当我们用双手与环境进行物理交互时，我们触碰物体并迫使其移动：接触与运动是操作的定义性属性。本文提出一种主动的、自底向上的方法，用于在操作动作的 RGBD 视频中检测施动者-物体接触并提取被移动物体及其运动。我们方法的核心是非刚性配准：我们持续将观测场景的点云模型扭曲至当前视频帧，生成一组稠密 3D 点轨迹。在宽松假设下，我们采用简单的点云分割技术提取施动者，并基于估计轨迹检测施动者-环境接触。对于每一次此类交互，利用检测到的接触作为一种注意力机制，我们通过聚类接触区域附近轨迹获得被操作物体的初始运动片段，随后在所有观测帧中联合优化物体片段并估计其 6DOF 位姿。由于其通用性以及输出具有基础却高度信息化的性质，我们的方法适用于广泛的感知与规划任务。我们在若干输入序列上定性评估了方法，并给出一个全面的机器人模仿学习示例，其中我们展示了我们的输出在从观测构建动作表示/规划中的关键作用。
引用
@article{arxiv.1807.04870,
title = {Extracting Contact and Motion from Manipulation Videos},
author = {Konstantinos Zampogiannis and Kanishka Ganguly and Cornelia Fermuller and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:1807.04870},
year = {2019}
}