LoLep：基于局部学习平面与自注意力遮挡推断的单视图新视角合成
计算机视觉与模式识别
2026-02-20 v3
摘要
我们提出了一种新方法 LoLep，它从单张 RGB 图像回归局部学习平面以精确表示场景，从而生成更好的新视角。在没有深度信息的情况下，回归合适的平面位置是一个具有挑战性的问题。为解决该问题，我们将视差空间预划分为多个区间，并设计了一个视差采样器来回归每个区间内多个平面的局部偏移。然而，仅使用这样的采样器会使网络无法收敛；我们进一步提出了两种结合数据集不同视差分布的优化策略，并提出了一种遮挡感知重投影损失作为一种简单而有效的几何监督技术。我们还引入了自注意力机制来改进遮挡推断，并提出了一个块采样自注意力（BS-SA）模块以解决将自注意力应用于大特征图的问题。我们在不同数据集上展示了方法的有效性并取得了最先进的（SOTA）结果。与 MINE 相比，我们的方法在 LPIPS 上降低了 4.8%–9.0%，在 RV 上降低了 73.9%–83.5%。我们还在真实世界图像上评估了性能并展示了其优势。
引用
@article{arxiv.2307.12217,
title = {LoLep: Single-View View Synthesis with Locally-Learned Planes and Self-Attention Occlusion Inference},
author = {Cong Wang and Yu-Ping Wang and Dinesh Manocha},
journal= {arXiv preprint arXiv:2307.12217},
year = {2026}
}
备注
Accepted by ICCV 2023