Sparse3D：从稀疏视角蒸馏多视图一致扩散用于物体重建
计算机视觉与模式识别
2023-12-21 v2
摘要
从极稀疏视角重建3D物体是一个长期存在的挑战性问题。尽管近期技术采用图像扩散模型在新视角生成合理图像，或使用分数蒸馏采样（SDS）将预训练扩散先验蒸馏至3D表示，这些方法常难以同时在新视角合成（NVS）与几何上实现高质量、一致且精细的结果。本工作中，我们提出Sparse3D，一种为稀疏视角输入定制的新型3D重建方法。我们的方法从多视图一致扩散模型蒸馏鲁棒先验以精炼神经辐射场。具体而言，我们采用一个控制器，其利用来自输入视角的极线特征，引导如Stable Diffusion等预训练扩散模型生成与输入保持3D一致的新视角图像。通过借助强大图像扩散模型的2D先验，我们的集成模型即便面对开放世界物体也能稳定提供高质量结果。为解决常规SDS引入的模糊，我们引入类别分数蒸馏采样（C-SDS）以增强细节。我们在CO3DV2（一个真实世界物体多视图数据集）上实验。定量与定性评估均表明，我们的方法在NVS与几何重建指标上优于先前SOTA工作。
引用
@article{arxiv.2308.14078,
title = {Sparse3D: Distilling Multiview-Consistent Diffusion for Object Reconstruction from Sparse Views},
author = {Zi-Xin Zou and Weihao Cheng and Yan-Pei Cao and Shi-Sheng Huang and Ying Shan and Song-Hai Zhang},
journal= {arXiv preprint arXiv:2308.14078},
year = {2023}
}