基于两阶段合成监督与多视角一致性自监督的单图像动物三维重建
计算机视觉与模式识别
2024-02-21 v3
摘要
像素对齐隐函数（Pixel-aligned Implicit Function, PIFu）通过对人体三维扫描数据的大量训练，能够在低维空间中有效捕捉体型的细微变化；然而，由于难以获得动物配合进行三维扫描，其在活体动物上的应用面临巨大挑战。为应对这一挑战，我们提出结合两阶段监督与自监督训练来解决动物三维扫描配合难的问题。在第一阶段，我们利用合成动物模型进行监督学习，使模型能从多样化的虚拟动物实例中学习。在第二阶段，我们采用二维多视角一致性作为自监督训练方法，进一步增强了模型从大量可用的真实动物单视角图像中重建准确且逼真三维形状与纹理的能力。我们的研究结果表明，该方法在鸟类三维数字化的定量与定性方面均优于当前最先进（state-of-the-art, SOTA）的方法。源代码见 https://github.com/kuangzijian/drifu-for-animals。
引用
@article{arxiv.2311.13199,
title = {Two-stage Synthetic Supervising and Multi-view Consistency Self-supervising based Animal 3D Reconstruction by Single Image},
author = {Zijian Kuang and Lihang Ying and Shi Jin and Li Cheng},
journal= {arXiv preprint arXiv:2311.13199},
year = {2024}
}