动物化身：从日常视频重建可动画的3D动物
计算机视觉与模式识别
2024-03-27 v1
摘要
我们提出了一种从单目视频构建可动画化狗化身的方法。这极具挑战性，因为动物会表现出一系列（不可预测的）非刚性运动，并具有多样的外观细节（如毛发、斑点、尾巴）。我们开发了一种通过4D解决方案链接视频帧的方法，该方案联合求解动物的姿态变化及其在规范姿态下的外观。为此，我们通过赋予SMAL参数模型连续表面嵌入，显著提升了基于模板的形状拟合质量，这带来了比先前使用的稀疏语义关键点对应更密集、因而更强的图像到网格重投影约束。为了建模外观，我们提出了一种隐式双面网格纹理，该纹理在规范姿态下定义，但可利用SMAL姿态系数进行变形，随后渲染以强制与输入视频帧的光度兼容性。在具有挑战性的CoP3D和APTv2数据集上，我们展示了相较于现有无模板方法（RAC）和基于模板的方法（BARC、BITE）的优越结果（在姿态估计和预测外观方面均如此）。
引用
@article{arxiv.2403.17103,
title = {Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos},
author = {Remy Sabathier and Niloy J. Mitra and David Novotny},
journal= {arXiv preprint arXiv:2403.17103},
year = {2024}
}