从视频中重建可动画类别模型
计算机视觉与模式识别
2023-05-11 v1 图形学
摘要
构建可动画的 3D 模型具有挑战性，因为需要 3D 扫描、费力的配准和手动绑定，这些难以扩展到任意类别。最近，可微渲染提供了一条从单目视频中获得高质量 3D 模型的途径，但这些仅限于刚性类别或单个实例。我们提出 RAC，它从单目视频中构建类别 3D 模型，同时解耦实例间的变化与随时间的变化。为此引入了三个关键思路来解决该问题：(1) 通过优化将骨架特化到实例，(2) 一种潜在空间正则化方法，鼓励类别内共享结构同时保持实例细节，(3) 使用 3D 背景模型将物体从背景中解耦。我们展示了人类、猫和狗的 3D 模型可以从 50-100 个互联网视频中学习得到。
引用
@article{arxiv.2305.06351,
title = {Reconstructing Animatable Categories from Videos},
author = {Gengshan Yang and Chaoyang Wang and N Dinesh Reddy and Deva Ramanan},
journal= {arXiv preprint arXiv:2305.06351},
year = {2023}
}
备注
Project page: https://gengshan-y.github.io/rac-www/