下一尺度自回归模型是零样本单目目标物体视图合成器
计算机视觉与模式识别
2025-06-10 v1 图形学
摘要
基于扩散主干的方法最近革新了新颖视图合成(NVS)。然而，这些模型需要预训练的2D扩散检查点(如Stable Diffusion)作为几何先验的基础。由于此类检查点需要大量数据和计算资源进行训练，这greatly限制了基于扩散的NVS模型的可扩展性。我们提出下一尺度自回归模型，依据视图条件(ArchonView)，该方法尽管仅使用3D渲染数据从头训练且无需2D预训练，便显著超越了最先进的方法。我们通过将全局(姿态增强语义)和局部(多尺度层次编码)条件整合到基于下一尺度自回归范式的主干中来实现此目标。我们的模型即使在之前方法会失败的困难相机位置也表现出鲁健性能，并且在推理速度上快于扩散模型数倍。我们通过实验验证性能随模型和数据集大小而提升，并对方法的合成质量在多个任务上进行了广泛演示。我们的代码已开源于https://github.com/Shiran-Yuan/ArchonView。
引用
@article{arxiv.2503.13588,
title = {Next-Scale Autoregressive Models are Zero-Shot Single-Image Object View Synthesizers},
author = {Shiran Yuan and Hao Zhao},
journal= {arXiv preprint arXiv:2503.13588},
year = {2025}
}
备注
Full codebase, training set, and eval benchmark at https://github.com/Shiran-Yuan/ArchonView