从稀有到频繁：利用 LLM 引导释放扩散模型在稀有概念上的组合生成能力
机器学习
2025-09-30 v4 人工智能
计算与语言
计算机视觉与模式识别
摘要
最先进的文本到图像 (T2I) 扩散模型通常难以生成概念的稀有组合，例如具有不寻常属性的物体。在本文中，我们展示了通过大型语言模型 (LLM) 引导，可以显著增强扩散模型在此类稀有概念上的组合生成能力。我们从实证和理论分析入手，证明在扩散采样过程中暴露与目标稀有概念相关的频繁概念，可以产生更准确的概念组合。基于此，我们提出了一种免训练方法 R2F，该方法通过利用 LLMs 中丰富的语义知识，在整个扩散推理过程中规划和执行从稀有到频繁的整体概念引导。我们的框架灵活适用于任何预训练的扩散模型和 LLMs，并能与区域引导的扩散方法无缝集成。在三个数据集上的大量实验，包括我们新提出的包含各种稀有概念组合提示的基准 RareBench，R2F 在 T2I 对齐方面显著超越了现有模型，包括 SD3.0 和 FLUX，提升幅度高达 28.1%。代码可在 https://github.com/krafton-ai/Rare-to-Frequent 获取。
引用
@article{arxiv.2410.22376,
title = {Rare-to-Frequent: Unlocking Compositional Generation Power of Diffusion Models on Rare Concepts with LLM Guidance},
author = {Dongmin Park and Sebin Kim and Taehong Moon and Minkyu Kim and Kangwook Lee and Jaewoong Cho},
journal= {arXiv preprint arXiv:2410.22376},
year = {2025}
}
备注
ICLR 2025 (spotlight)