学习网络上的3D动物群
计算机视觉与模式识别
2024-04-02 v2
摘要
学习地球上所有动物的3D模型需要大规模扩展现有解决方案。怀着这个最终目标，我们开发了3D-Fauna，一种联合学习超过100种动物物种的跨类别可变形3D动物模型的方法。动物建模的一个关键瓶颈是训练数据的有限可用性，我们通过简单地从2D互联网图像中学习来克服这一点。我们表明，先前的类别特定尝试无法泛化到训练图像有限的稀有物种。我们通过引入蒙皮模型语义库（SBSM）来应对这一挑战，该库通过将几何归纳先验与现成自监督特征提取器隐式捕获的语义知识相结合，自动发现一小部分基础动物形状。为了训练这样的模型，我们还贡献了一个新的包含多种动物物种的大规模数据集。在推理时，给定任何四足动物的单张图像，我们的模型在前馈方式下在几秒钟内重建出一个带关节的3D网格。
引用
@article{arxiv.2401.02400,
title = {Learning the 3D Fauna of the Web},
author = {Zizhang Li and Dor Litvak and Ruining Li and Yunzhi Zhang and Tomas Jakab and Christian Rupprecht and Shangzhe Wu and Andrea Vedaldi and Jiajun Wu},
journal= {arXiv preprint arXiv:2401.02400},
year = {2024}
}
备注
The first two authors contributed equally to this work. The last three authors contributed equally. Project page: https://kyleleey.github.io/3DFauna/