Ditto：通过交互构建关节物体的数字孪生
计算机视觉与模式识别
2022-05-03 v3 人工智能
机器人学
摘要
将物理物体数字化进入虚拟世界，有潜力在具身 AI 与混合现实中开启新的研究与应用场景。本文聚焦于重建真实世界关节物体的可交互数字孪生，其可直接导入虚拟环境。我们提出 Ditto，通过交互感知学习关节物体的关节模型估计与三维几何重建。给定关节物体交互前与交互后的一对视觉观测，Ditto 重建部件级几何并估计物体的关节模型。我们采用隐式神经表示进行联合几何与关节建模。实验表明，Ditto 能以类别无关的方式有效构建关节物体的数字孪生。我们还将 Ditto 应用于真实物体，并将重建的数字孪生部署于物理仿真中。代码与补充结果见 https://ut-austin-rpl.github.io/Ditto
引用
@article{arxiv.2202.08227,
title = {Ditto: Building Digital Twins of Articulated Objects from Interaction},
author = {Zhenyu Jiang and Cheng-Chun Hsu and Yuke Zhu},
journal= {arXiv preprint arXiv:2202.08227},
year = {2022}
}
备注
CVPR 2022 Oral. Code and additional results are available at https://ut-austin-rpl.github.io/Ditto