通过3D极线注意力合成一致的新视角，无需重新训练
计算机视觉与模式识别
2025-02-26 v1
摘要
大型扩散模型在单图像新视角合成中展现出显著的零样本能力。然而，这些模型在维持新视角与参考视角之间的一致性方面常常面临挑战。导致这一问题的一个关键因素是对参考视角中上下文信息的有限利用。具体而言，当两个视角的视锥体存在重叠时，必须确保对应区域在几何与外观上保持一致。这一观察引导了一种简单而有效的方法，我们提出利用极线几何来定位并检索输入视角中的重叠信息。该信息随后被纳入目标视角的生成中，无需训练或微调，因为该过程不包含任何可学习参数。此外，为了提升生成视角的整体一致性，我们将极线注意力的利用扩展到多视角设置，允许从输入视角和其他目标视角中检索重叠信息。定性与定量实验结果证明了该方法在无需任何微调的情况下显著提升合成视角一致性的有效性。此外，这种增强也提升了下游应用（如3D重建）的性能。代码地址：https://github.com/botaoye/ConsisSyn。
引用
@article{arxiv.2502.18219,
title = {Synthesizing Consistent Novel Views via 3D Epipolar Attention without Re-Training},
author = {Botao Ye and Sifei Liu and Xueting Li and Marc Pollefeys and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:2502.18219},
year = {2025}
}
备注
3DV 2025