HAD：基于幻觉感知的扩散先验用于3D重建

扩散先验最近在通过在新视角增强训练视角来提高稀疏视图3D重建质量方面显示出强大的能力，但不可避免地会引入与输入视图不一致的幻觉内容（即与输入视图不符的artifact）到最终3D模型中。为此，我们提出了幻觉感知扩散先验（HAD），该方法利用来自大规模3D数据的 feedforward novel view synthesis（NVS）网络的多视图推理能力，估计增强图像的像素级幻觉得分地图。这些幻觉得分使我们能够在渐进的3D重建过程中选择性地屏蔽不可靠的像素，从而防止将不存在的artifact引入3D模型。为进一步提升性能，我们通过在不同输入视图上对扩散先验进行条件化，创建了每个新视角的多个增强图像版本，然后将其融合到最终图像中，以利用所有输入视图范围的上下文。我们表明，该方法在扩散辅助3D重建中显著减少了幻觉artifact，从而在多个 novel view synthesis benchmark 上实现了最先进的性能。我们的项目已公开于 \href{https://xiliu8006.github.io/HAD-Project-website/}{project website}。