面向几何视图扩散模型的景观感知

在稀疏视图条件下进行精确的相机视点估计仍然具有挑战性，尤其是在双视图场景中。最近的方法利用扩散模型（如Zero123）来合成以相对视点为条件的新视图，当通过MSE损失进行优化重新用于视点估计时，显示出有希望的结果。然而，现有方法常常遭受具有众多局部极小值的非凸损失景观，使其对初始化敏感并依赖于朴素的多次启动策略。我们分析了这些优化挑战并可视化了失败案例，表明几何模糊性（如对称性和自相似性）可能将基于梯度的更新误导至错误的视点。为了解决这些局限性，我们提出了一种基于得分的方法，该方法重塑优化景观以引导更新朝向真实视点，随后使用视点条件扩散模型进行精化阶段。实验表明，我们的方法改善了收敛性，减少了对暴力采样的依赖，并以更高的样本效率实现了有竞争力的准确率。