无监督体素动画
计算机视觉与模式识别
2023-01-27 v1
摘要
我们提出一种用于非刚性可变形物体无监督 3D 动画的新方法。我们的方法仅从单视角 RGB 视频中学习物体的 3D 结构与动态，并能将其分解为可跟踪与动画化的语义有意义部件。利用 3D 自解码器框架，并通过可微 PnP 算法与关键点估计器配对，我们的模型以完全无监督方式学习底层物体几何与部件分解。这使其能执行 3D 分割、3D 关键点估计、新视角合成与动画。我们主要在两个视频数据集上评估该框架：VoxCeleb 与 TEDXPeople 。此外，在 Cats 图像数据集上，我们展示其甚至能从静态图像学习出引人注目的 3D 几何。最后，我们展示我们的模型可从单张或少量图像获得可动画化的 3D 物体。代码与可视化结果见于我们的项目网站，见 https://snap-research.github.io/unsupervised-volumetric-animation 。
引用
@article{arxiv.2301.11326,
title = {Unsupervised Volumetric Animation},
author = {Aliaksandr Siarohin and Willi Menapace and Ivan Skorokhodov and Kyle Olszewski and Jian Ren and Hsin-Ying Lee and Menglei Chai and Sergey Tulyakov},
journal= {arXiv preprint arXiv:2301.11326},
year = {2023}
}