基于扩散模型测试时适应的单图像新视角合成几何一致性细化
计算机视觉与模式识别
2025-04-14 v1
摘要
单图像新视角合成 (NVS) 的扩散模型能够生成高度逼真且合理的图像，但在几何一致性方面受到限制，尤其是相对于给定的相对姿态。生成的图像常常与目标姿态应满足的焦点约束存在显著偏差。本文通过提出一种方法来提高由用于单图像 NVS 的扩散模型生成图像的几何正确性。我们基于图像匹配和焦点约束构建损失函数，在扩散采样过程中优化起始噪声，使得生成的图像既具备逼真性，又满足由给定目标姿态推导的几何约束。该方法无需训练数据或微调扩散模型，可适用于多种最新单图像 NVS 模型。该方法在 MegaScenes 数据集上进行评估，我们展示了相较于基线模型，几何一致性得到改善，同时保持了生成图像的质量。
引用
@article{arxiv.2504.08348,
title = {Geometric Consistency Refinement for Single Image Novel View Synthesis via Test-Time Adaptation of Diffusion Models},
author = {Josef Bengtson and David Nilsson and Fredrik Kahl},
journal= {arXiv preprint arXiv:2504.08348},
year = {2025}
}
备注
Accepted to CVPR 2025 EDGE Workshop. Project page: https://gc-ref.github.io/