Zero-to-Hero：通过注意力图过滤提升零样本新视角合成
计算机视觉与模式识别
2024-10-25 v2
摘要
从单个源图像生成任意视角的逼真图像是计算机视觉中的一个重大挑战，具有从电商到沉浸式虚拟体验的广泛应用。最近的扩散模型，特别是 Zero-1-to-3 模型，已被广泛用于生成合理的视角、视频和 3D 模型。然而，这些模型仍在新视角生成中存在不一致和不合理的问题，尤其是在视点变化方面。本文提出了 Zero-to-Hero，一种新的测试时方法，通过操控 Zero-1-to-3 去噪过程中注意力图来增强视角合成。我们通过将去噪过程类比于随机梯度下降（SGD），实现了注意力图的聚合过滤机制，增强了生成的可靠性和真实性。这一过程在无需重新训练或显著计算资源的情况下提高了几何一致性。此外，我们修改了自注意力机制以集成来自源视角的信息，减少形状失真。这一过程得到了专门抽样计划的支持。实验结果表明，在多样化的分布外物体上，Zero-to-Hero 在保真度和一致性方面实现了显著提升。我们还演示了 Zero-to-Hero 在多视角和基于语义图和姿态的图像生成中的通用适用性和有效性。
引用
@article{arxiv.2405.18677,
title = {Zero-to-Hero: Enhancing Zero-Shot Novel View Synthesis via Attention Map Filtering},
author = {Ido Sobol and Chenfeng Xu and Or Litany},
journal= {arXiv preprint arXiv:2405.18677},
year = {2024}
}
备注
NeurIPS 2024. Project page: https://zero2hero-nvs.github.io