稀疏视角下如何使用扩散先验？
计算机视觉与模式识别
2024-12-04 v1
摘要
稀疏视角下的新视角合成一直是3D重建中重要的挑战。现有工作主要依赖引入外部语义或深度先验来监督3D表示的优化。然而，扩散模型作为能够直接提供视觉监督的外部先验，在使用评分蒸馏抽样（SDS）进行稀疏视图3D重建时一直表现不佳，由于稀疏视图的低信息熵相对于文本而言，导致优化过程中出现模式偏差。为此，我们从模式寻优角度对SDS进行彻底分析，提出内联先验引导得分匹配（IPSM），该方法利用视点之间姿态关系提供的视觉内联先验来纠正渲染图像分布，并分解原有的SDS优化目标，从而在无需任何微调或预训练的情况下提供有效的扩散视觉指导。此外，我们提出了IPSM-Gaussians 流水线，该方法采用3D高斯溅写作为骨干，并基于IPSM补充深度和几何一致性正则化，以进一步提高内联先验和纠正后的分布。实验结果表明，在不同公开数据集上，我们的方法实现了最先进的重建质量。代码已发布于 https://github.com/iCVTEAM/IPSM。
引用
@article{arxiv.2412.02225,
title = {How to Use Diffusion Priors under Sparse Views?},
author = {Qisen Wang and Yifan Zhao and Jiawei Ma and Jia Li},
journal= {arXiv preprint arXiv:2412.02225},
year = {2024}
}