MagicPony：在野外部署中学习铰接式三维动物
计算机视觉与模式识别
2023-04-05 v3
摘要
我们考虑如下问题：给定一张测试图像作为输入，预测如马这类铰接式动物的三维形状、关节姿态、视角、纹理与光照。我们提出一种称为 MagicPony 的新方法，它仅从该对象类别的野外部署单视图图像中学习该预测器，对形变的拓扑结构做最小假设。其核心是铰接形状与外观的隐式-显式表示，结合了神经场与网格的优势。为帮助模型理解对象的形状与姿态，我们蒸馏一个现成自监督视觉Transformer所捕获的知识，并将其融合进三维模型。为克服视角估计中的局部最优，我们进一步引入一种无需额外训练代价的新的视角采样方案。MagicPony 在该极具挑战性的任务上优于先前工作，并展现出在重建艺术品时的优异泛化能力，尽管它仅在真实图像上训练。
引用
@article{arxiv.2211.12497,
title = {MagicPony: Learning Articulated 3D Animals in the Wild},
author = {Shangzhe Wu and Ruining Li and Tomas Jakab and Christian Rupprecht and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2211.12497},
year = {2023}
}
备注
CVPR 2023. Project Page: https://3dmagicpony.github.io/