观察其运动:无监督发现用于关节物体重摆姿的 3D 关节
计算机视觉与模式识别
2022-04-07 v2
摘要
在控制姿态的同时渲染关节物体对虚拟现实或电影动画等应用至关重要。然而,操纵物体姿态需要理解其底层结构,即其关节以及它们如何相互作用。遗憾的是,现有方法假定结构已知,这排除了处理新物体类别的能力。我们提出通过从多视图观察未见过的关节物体的运动,在无关节标注监督或结构信息的情况下,学习其外观与结构。我们观察到,彼此相对静止的 3D 点应属于同一部件,而相对运动相邻的部件必须由关节连接。为利用这一洞察,我们将 3D 物体部件建模为椭球体,这使我们能够识别关节。我们将此显式表示与补偿所引入近似的隐式表示相结合。我们展示了我们的方法适用于不同结构,从四足动物到单臂机器人再到人类。
引用
@article{arxiv.2112.11347,
title = {Watch It Move: Unsupervised Discovery of 3D Joints for Re-Posing of Articulated Objects},
author = {Atsuhiro Noguchi and Umar Iqbal and Jonathan Tremblay and Tatsuya Harada and Orazio Gallo},
journal= {arXiv preprint arXiv:2112.11347},
year = {2022}
}
备注
CVPR2022, 16 pages, Project page: https://nvlabs.github.io/watch-it-move