VisionNVS：基于虚拟位移范式的自监督新视角合成填充
计算机视觉与模式识别
2026-03-19 v1
摘要
自动驾驶中新视角合成（NVS）的一个根本性瓶颈是新轨迹上的固有监督缺口：模型在推理时被要求合成未见的视图，但在训练时缺乏这些偏移姿态的真实图像。在本文中，我们提出了VisionNVS，一个仅依赖摄像头的框架，从根本上重新定义视角合成，将其从一个病态的外推问题转化为自监督的填充任务。通过引入“虚拟位移”策略，我们使用单目深度代理模拟遮挡模式并将其映射到原始视图。这一范式转变允许将原始记录图像用作像素完美的监督，有效消除了以往方法固有的域间差距。此外，我们通过Pseudo-3D Seam Synthesis策略来解决空间一致性问题，该策略在训练期间整合相邻摄像头的视觉数据，以显式建模真实世界的光度差异和标定误差。实验表明，VisionNVS在几何保真度和视觉质量方面优于依赖LiDAR的基线方法，为可扩展的驾驶仿真提供了稳健解决方案。
引用
@article{arxiv.2603.17382,
title = {VisionNVS: Self-Supervised Inpainting for Novel View Synthesis under the Virtual-Shift Paradigm},
author = {Hongbo Lu and Liang Yao and Chenghao He and Fan Liu and Wenlong Liao and Tao He and Pai Peng},
journal= {arXiv preprint arXiv:2603.17382},
year = {2026}
}