ConceptExpress：利用扩散模型进行单图像无监督概念提取

虽然个性化文本到图像生成已经实现了从多张图像中学习单个概念，但一个更实用且更具挑战性的场景是在单张图像中学习多个概念。然而，解决该场景的现有工作严重依赖大量人工标注。在本文中，我们引入了一项名为无监督概念提取（UCE）的新任务，该任务考虑了没有任何关于概念的人类知识的无监督设置。给定一张包含多个概念的图像，该任务旨在仅依靠预训练扩散模型的现有知识来提取并重建各个概念。为此，我们提出了 ConceptExpress，通过从两个方面释放预训练扩散模型的固有能力来解决 UCE。具体而言，一种概念定位方法利用扩散自注意力的空间对应关系，自动定位并解耦显著概念；基于概念与概念词元之间的查找关联，一种逐概念优化过程学习代表每个独立概念的判别性词元。最后，我们建立了专为 UCE 任务定制的评估协议。大量实验表明，ConceptExpress 是解决 UCE 任务的一种极具前景的方案。我们的代码和数据可在以下地址获取：https://github.com/haoosz/ConceptExpress