ViewFusion：通过插值去噪实现多视角一致性
计算机视觉与模式识别
2024-03-01 v1
摘要
通过扩散模型进行新视角合成已展现出生成多样化和高质量图像的巨大潜力。然而，这些主流方法中图像生成的独立过程导致维持多视角一致性面临挑战。为解决这一问题，我们引入了ViewFusion，一种新颖的、无需训练的算法，可以无缝集成到现有的预训练扩散模型中。我们的方法采用自回归方式，隐式地将先前生成的视角作为下一视角生成的上下文，确保在新视角生成过程中具有鲁棒的多视角一致性。通过一个利用插值去噪融合已知视角信息的扩散过程，我们的框架成功地将单视角条件模型扩展到多视角条件设置，无需任何额外的微调。大量实验结果证明了ViewFusion在生成一致且详细的新视角方面的有效性。
引用
@article{arxiv.2402.18842,
title = {ViewFusion: Towards Multi-View Consistency via Interpolated Denoising},
author = {Xianghui Yang and Yan Zuo and Sameera Ramasinghe and Loris Bazzani and Gil Avraham and Anton van den Hengel},
journal= {arXiv preprint arXiv:2402.18842},
year = {2024}
}
备注
CVPR2024,homepage:https://wi-sc.github.io/ViewFusion.github.io/