从互联网视频中学习模仿物体交互
计算机视觉与模式识别
2022-11-24 v1 机器学习
机器人学
摘要
我们研究从互联网视频中模仿物体交互的问题。这需要在 4D（空间上 3D 且随时间）理解手-物交互，由于手与物体间的相互遮挡，这具有挑战性。本文做出两项主要贡献：(1) 一种新颖的重建技术 RHOV（从视频重建手与物体），利用 2D 图像线索与时间平滑性约束重建手和物体的 4D 轨迹；(2) 一个在物理模拟器中使用强化学习模仿物体交互的系统。我们将重建技术应用于 100 个具有挑战性的互联网视频。我们进一步展示，我们能在物理模拟器中成功模仿一系列不同的物体交互。我们以物体为中心的方法不限于类人末端执行器，还能使用不同载体（如带平行夹爪的机械臂）学习模仿物体交互。
引用
@article{arxiv.2211.13225,
title = {Learning to Imitate Object Interactions from Internet Videos},
author = {Austin Patel and Andrew Wang and Ilija Radosavovic and Jitendra Malik},
journal= {arXiv preprint arXiv:2211.13225},
year = {2022}
}
备注
Project page: https://austinapatel.github.io/imitate-video