基于坐标噪声和傅里叶注意力的多视角图像扩散

最近，文本到图像的扩散模型在更高的保真度和泛化能力方面都取得了显著进展。然而，生成与提示符一致的整体多视角图像仍然是一个重要且具有挑战性的任务。为此，我们提出了一种通过注意力机制以及 novel noise 初始化技术和交叉注意力损失的扩散过程，以注意时间依赖的空间频率特征。这种基于傅里叶的注意力块专注于来自生成场景中非重叠区域的特征，以更好地对齐全局外观。我们的噪声初始化技术包含来自像素坐标和深度图的共享噪声和低空间频率信息，以在视角之间诱导噪声相关性。交叉注意力损失进一步对齐共享同一提示符的特征。我们的技术在多视角一致性的其他SOTA方法进行定性比较后，在多个定量指标上取得SOTA性能。