ZeroNVS：基于单图像的零样本 360 度视角合成
计算机视觉与模式识别
2024-04-25 v2 图形学
摘要
我们提出了一种三维感知扩散模型 ZeroNVS，用于野外场景的单图像新视角合成。现有方法针对背景被掩膜的单物体设计，而我们提出新技术以应对野外多物体复杂背景场景带来的挑战。具体而言，我们在涵盖物体中心、室内与室外场景的混合数据源上训练生成先验。为解决数据混合带来的深度尺度歧义等问题，我们提出了一种新颖的相机条件参数化与归一化方案。此外，我们观察到在 360 度场景蒸馏过程中，分数蒸馏采样（SDS）倾向于截断复杂背景的分布，并提出了“SDS 锚定”以提升合成新视角的多样性。我们的模型在零样本设定下于 DTU 数据集上取得了 LPIPS 的新最优结果，甚至优于专门在 DTU 上训练的方法。我们进一步将具挑战性的 Mip-NeRF 360 数据集适配为单图像新视角合成的新基准，并展示了在该设定下的强劲性能。我们的代码与数据见 http://kylesargent.github.io/zeronvs/
引用
@article{arxiv.2310.17994,
title = {ZeroNVS: Zero-Shot 360-Degree View Synthesis from a Single Image},
author = {Kyle Sargent and Zizhang Li and Tanmay Shah and Charles Herrmann and Hong-Xing Yu and Yunzhi Zhang and Eric Ryan Chan and Dmitry Lagun and Li Fei-Fei and Deqing Sun and Jiajun Wu},
journal= {arXiv preprint arXiv:2310.17994},
year = {2024}
}
备注
Accepted to CVPR 2024. 12 pages