基于能量的交叉注意力用于文本到图像扩散模型中的贝叶斯上下文更新
计算机视觉与模式识别
2023-11-07 v3 人工智能
计算与语言
机器学习
摘要
尽管文本到图像扩散模型在图像生成任务中表现卓越，近期研究指出生成图像有时无法捕捉文本提示的预期语义内容，该现象常被称为语义错位。为此，我们提出一种新颖的基于能量的模型（EBM）框架，通过对上下文向量的后验进行建模来实现自适应上下文控制。具体而言，我们首先在去噪自编码器的每一交叉注意力层中构建潜在图像表示与文本嵌入的 EBM。随后，我们获得上下文向量对数后验的梯度，该梯度可被更新并传递至后续交叉注意力层，从而隐式地最小化嵌套层级的能量函数。我们的潜在 EBM 进一步支持以不同上下文交叉注意力输出的线性组合实现零样本组合生成。通过大量实验，我们证明所提方法在处理多概念生成、文本引导图像修复以及真实与合成图像编辑等多种图像生成任务中极为有效。代码：https://github.com/EnergyAttention/Energy-Based-CrossAttention。
引用
@article{arxiv.2306.09869,
title = {Energy-Based Cross Attention for Bayesian Context Update in Text-to-Image Diffusion Models},
author = {Geon Yeong Park and Jeongsol Kim and Beomsu Kim and Sang Wan Lee and Jong Chul Ye},
journal= {arXiv preprint arXiv:2306.09869},
year = {2023}
}
备注
NeurIPS 2023