面向文本到图像扩散模型的扩散自适应文本嵌入

文本到图像扩散模型依赖于来自预训练文本编码器的文本嵌入，但这些嵌入在所有扩散时间步中保持固定，限制了其对生成过程的适应性。我们提出了扩散自适应文本嵌入（DATE），该方法在每个扩散时间步根据中间扰动数据动态更新文本嵌入。我们 formulating an optimization problem and derive an update rule that refines the text embeddings at each sampling step to improve alignment and preference between the mean predicted image and the text. 这允许DATE在扩散采样过程中动态地调整文本条件以适应反向扩散的图像，而无需额外的模型训练。通过理论分析和实证结果，我们展示DATE在各种任务中，包括多概念生成和文本引导的图像编辑，都能在不损失模型生成能力的同时，提供比固定文本嵌入更好的文本-图像对齐。我们的代码可在 https://github.com/aailab-kaist/DATE 获取。