DOVE：通过观看视频学习可变形3D物体
计算机视觉与模式识别
2022-06-30 v2
摘要
从2D图像学习可变形3D物体通常是一个不适定问题。现有方法依赖显式监督来建立多视角对应关系，例如模板形状模型和关键点标注，这限制了它们在“野外”物体上的适用性。建立对应关系的一种更自然的方式是观看物体运动的视频。在本文中，我们提出了 DOVE，这是一种利用在线可获取的单目视频，在无需关键点、视角或模板形状监督的情况下，学习可变形物体类别纹理3D模型的方法。通过消除由对称性引起的姿态歧义并利用视频中的时间对应关系，该模型能够自动从每个单独的 RGB 帧中分离出3D形状、铰接姿态和纹理，并可在测试时进行单图像推理。在实验中，我们表明现有方法在没有额外关键点或模板监督的情况下无法学习到合理的3D形状，而我们的方法生成了时间一致的3D模型，这些模型可以进行动画处理并从任意视角渲染。
引用
@article{arxiv.2107.10844,
title = {DOVE: Learning Deformable 3D Objects by Watching Videos},
author = {Shangzhe Wu and Tomas Jakab and Christian Rupprecht and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2107.10844},
year = {2022}
}
备注
Project Page: https://dove3d.github.io/