ARTIC3D：从含噪声的网络图像集合中学习鲁棒的铰接式三维形状
计算机视觉与模式识别
2023-06-08 v1
摘要
从单目图像估计动物身体等铰接式三维形状，由于相机视角、姿态、纹理、光照等固有的模糊性而极具挑战性。我们提出 ARTIC3D，一种自监督框架，用于从野外稀疏图像集合中重建逐实例的三维形状。具体而言，ARTIC3D 建立在基于骨架的表面表示之上，并进一步由来自 Stable Diffusion 的二维扩散先验引导。首先，我们通过二维扩散增强带有遮挡/截断的输入图像，以获得更干净的掩码估计和语义特征。其次，我们执行扩散引导的三维优化，以估计高保真且忠实于输入图像的形狀和纹理。我们还提出了一种相比现有替代方案能通过扩散模型计算更稳定图像级梯度的新技术。最后，我们在刚性部件变换下微调渲染的形状和纹理，生成逼真的动画。在多个现有数据集以及新引入的带有遮挡和截断的噪声网络图像集合上的大量评估表明，ARTIC3D 的输出对噪声图像更鲁棒、在形状和纹理细节方面质量更高、且在动画时更逼真。项目页面：https://chhankyao.github.io/artic3d/
引用
@article{arxiv.2306.04619,
title = {ARTIC3D: Learning Robust Articulated 3D Shapes from Noisy Web Image Collections},
author = {Chun-Han Yao and Amit Raj and Wei-Chih Hung and Yuanzhen Li and Michael Rubinstein and Ming-Hsuan Yang and Varun Jampani},
journal= {arXiv preprint arXiv:2306.04619},
year = {2023}
}
备注
Project page: https://chhankyao.github.io/artic3d/