OrbitNVS：利用视频扩散先验进行新视角合成
计算机视觉与模式识别
2026-03-23 v1
摘要
新视角合成（NVS）旨在给定有限数量的已知视角生成未见到的视角。现有方法在单视角输入下难以合成未观察区域的合理视角，仍面临几何一致性和外观一致性挑战。为此，我们提出OrbitNVS，将NVS重新表述为轨道视频生成任务。通过量身模型设计和训练策略，将预训练视频生成模型适用于NVS任务，利用其丰富的视觉先验实现高质量视角合成。具体而言，我们将相机适配器引入视频模型以实现精确相机控制。为提升3D对象的两个关键属性——几何与外观，我们设计了normal map生成分支，并通过注意力机制利用normal map特征引导目标视角的合成，从而提高几何一致性。此外，我们应用像素空间监督以缓解潜在空间中因压缩导致的模糊外观。大量实验表明，OrbitNVS在GSO和OmniObject3D基准上显著优于先前方法，尤其在具有挑战性的单视角设置下（例如，+2.9 dB和+2.4 dB PSNR）。
引用
@article{arxiv.2603.19613,
title = {OrbitNVS: Harnessing Video Diffusion Priors for Novel View Synthesis},
author = {Jinglin Liang and Zijian Zhou and Rui Huang and Shuangping Huang and Yichen Gong},
journal= {arXiv preprint arXiv:2603.19613},
year = {2026}
}
备注
26 pages, 10 figures