4D-Animal：从视频中自由重建可动画3D动物
计算机视觉与模式识别
2025-07-15 v1
摘要
现有从视频中重建可动画3D动物的方法通常依赖稀疏语义关键点来拟合参数化模型。然而获取此类关键点工作量大，且在有限动物数据上训练的关键点检测器往往不可靠。为此，我们提出4D-Animal，一种无需稀疏关键点标注即可重建可动画3D动物的新型框架。我们的方法引入稠密特征网络，将2D表示映射到SMAL参数，显著提升拟合过程的效率和稳定性。此外，我们开发了分层对齐策略，综合利用预训练2D视觉模型中的轮廓、部件级、像素级及时间线索，生成跨帧准确且时序一致的重建结果。大量实验表明，4D-Animal在模型基线和模型自由基线上均表现优异。此方法生成的高质量3D资产还能惠及其他3D任务，凸显其在大规模应用中的潜力。代码已发布于https://github.com/zhongshsh/4D-Animal。
引用
@article{arxiv.2507.10437,
title = {4D-Animal: Freely Reconstructing Animatable 3D Animals from Videos},
author = {Shanshan Zhong and Jiawei Peng and Zehan Zheng and Zhongzhan Huang and Wufei Ma and Guofeng Zhang and Qihao Liu and Alan Yuille and Jieneng Chen},
journal= {arXiv preprint arXiv:2507.10437},
year = {2025}
}