Attention 层简单插入 LoRA 条件化可提升扩散模型表现
计算机视觉与模式识别
2024-10-07 v3 人工智能
机器学习
摘要
当前最先进的扩散模型采用包含卷积层和 (qkv) 自注意力层的 U-Net 架构。U-Net 在处理图像时被条件化于每个采样步骤的时间嵌入输入以及对应于所需条件生成的类别或标题嵌入输入。这种条件化涉及对卷积层的尺度-偏移操作，但不直接影响注意力层。虽然这些标准的架构选择 undoubtedly 有效，但对注意力层不进行条件化似乎不合理且可能次优。本文我们表明，仅通过向注意力层添加 LoRA 条件化而无需更改或微调其他 U-Net 架构部分，即可提升图像生成质量。例如，向 EDM 扩散模型添加 LoRA 条件化可使无条件和类别条件化 CIFAR-10 生成的 FID 分别达到 1.91/1.75，优于基线的 1.97/1.79。
引用
@article{arxiv.2405.03958,
title = {Simple Drop-in LoRA Conditioning on Attention Layers Will Improve Your Diffusion Model},
author = {Joo Young Choi and Jaesung R. Park and Inkyu Park and Jaewoong Cho and Albert No and Ernest K. Ryu},
journal= {arXiv preprint arXiv:2405.03958},
year = {2024}
}