扩散模型中的概念可达性：超越数据集约束
机器学习
2025-05-27 v1
摘要
尽管文本到图像模型在生成质量和复杂度方面取得了显著进展，但提示并不总能产生期望的输出。通过直接引导中间模型激活来控制模型行为已成为一种可行的替代方案，使得能够触及潜在空间中通过提示可能无法触及的概念。在本工作中，我们引入了一组实验以加深对概念可达性的理解。我们设计了一个包含三个关键障碍的训练数据设置：概念稀缺、标题中概念描述不充分以及关联概念的数据偏差。我们的结果表明：潜在空间中的概念可达性表现出明显的相变，仅需少量样本即可实现可达性；在潜在空间的何处进行干预对可达性有至关重要的影响，表明某些概念仅在转换的特定阶段才可达；尽管提示能力随着数据集质量的下降而迅速减弱，但通过引导，概念通常仍能可靠地触及。模型提供商可以利用这一点来绕过昂贵的重新训练和数据集筛选，转而通过面向用户的控制机制进行创新。
引用
@article{arxiv.2505.19313,
title = {Concept Reachability in Diffusion Models: Beyond Dataset Constraints},
author = {Marta Aparicio Rodriguez and Xenia Miscouridou and Anastasia Borovykh},
journal= {arXiv preprint arXiv:2505.19313},
year = {2025}
}