一视图即可!单视图训练的野外新视角生成
计算机视觉与模式识别
2026-04-15 v2
摘要
单视图新视角合成长期需要多视图图像对进行监督,从而限制了训练数据的规模和多样性。我们认为这并非必然:只需一视图即可。我们提出了OVIE模型,完全基于未加工的互联网图像进行训练。我们利用单视图深度估计器作为训练时的几何支架:将源图像提升至3D空间,应用采样的相机变换,然后投影以获得伪目标视图。为处理遮挡问题,我们引入一种掩码训练方案,将几何、感知和纹理损失限制在有效区域,从而支持使用3000万张未加工图像进行训练。在推理阶段,OVIE无需几何信息,无需深度估计器或3D表示。仅在野外图像上训练的OVIE在零样本设置下超越了先前方法,速度还快了600倍。代码和模型已公开 disponible at https://github.com/AdrienRR/ovie。
引用
@article{arxiv.2603.23488,
title = {One View Is Enough! Monocular Training for In-the-Wild Novel View Generation},
author = {Adrien Ramanana Rahary and Nicolas Dufour and Patrick Perez and David Picard},
journal= {arXiv preprint arXiv:2603.23488},
year = {2026}
}
备注
36 pages, 17 figures