Ctrl123：通过闭环转录实现一致的新视角合成
计算机视觉与模式识别
2024-06-25 v2
摘要
大型图像扩散模型已在新视角合成（NVS）中展示出零样本能力。然而，现有的基于扩散的 NVS 方法在生成与相应真实姿态和外观相符的新视角时，难以在训练集上实现准确一致性。这进而限制了下游任务的性能，如图像到多视图生成和3D 重建。我们意识到，这种不一致性主要源于现有方法（如 Zero123）在扩散训练中难以在姿态敏感的特征空间中强制准确的姿态和外观对齐。为解决此问题，我们提出 Ctrl123，一种基于闭环转录的 NVS 扩散方法，通过姿态敏感的特征空间强化生成视角与真实姿态的对齐。我们的大量实验表明，Ctrl123 在 NVS 和3D 重建任务上均有效，显著优于现有方法在多视图一致性和姿态一致性方面的表现。
引用
@article{arxiv.2403.10953,
title = {Ctrl123: Consistent Novel View Synthesis via Closed-Loop Transcription},
author = {Hongxiang Zhao and Xili Dai and Jianan Wang and Shengbang Tong and Jingyuan Zhang and Weida Wang and Lei Zhang and Yi Ma},
journal= {arXiv preprint arXiv:2403.10953},
year = {2024}
}