学习你的尺度：面向尺度一致的生成式新视角合成
计算机视觉与模式识别
2025-03-20 v1
摘要
传统的无深度的多视角数据集使用移动的单目相机拍摄，不进行度量校准，相机位置的尺度存在歧义。先前的方法通过各种粗糙的归一化预处理步骤承认了多视角数据中的尺度歧义，但未直接分析错误场景尺度对其应用的影响。在本文中，我们寻求理解和解决在训练生成式新视角合成方法 (GNVS) 时尺度歧义的影响。在 GNVS 中，给定单张图像即可最少地合成场景或物体的新视角，因此是无约束的，使得生成方法成为必要。生成模型的生成性质捕获了所有不确定性，包括场景尺度的任何不确定性，这些不确定性对该任务而言是杂音变量。我们研究了在从单张图像中采样时，场景尺度歧义对 GNVS 模型结果影响，通过隔离其效应来分析。基于这些直觉，我们定义新的指标来衡量生成视图的尺度不一致性。随后，我们提出一种框架，联合 GNVS 模型以 end-to-end方式估计场景尺度。经实证，我们展示了该方法在不引入先前尺度归一化方法的复杂性或缺点的情况下，减少了生成视图的尺度不一致性。进一步，我们表明消除此歧义可提高生成 GNVS 模型的图像质量。
引用
@article{arxiv.2503.15412,
title = {Learn Your Scales: Towards Scale-Consistent Generative Novel View Synthesis},
author = {Fereshteh Forghani and Jason J. Yu and Tristan Aumentado-Armstrong and Konstantinos G. Derpanis and Marcus A. Brubaker},
journal= {arXiv preprint arXiv:2503.15412},
year = {2025}
}