Coffee：可控扩散微调
计算机视觉与模式识别
2025-11-19 v1
摘要
文本到图像扩散模型能够通过灵活提示生成多样化内容，适用于小量用户数据进行定制化微调。然而，如何在防止模型学习微调数据中不希望出现的概念，以及避免这些概念与用户提示纠缠，仍是开放挑战。这对于偏见缓解、防止恶意适配、属性解缠及扩散策略的通用微调至关重要。我们提出 Coffee，允许通过语言指定不希望学习的概念以正则化适应过程。其核心方法在于保持用户提示的嵌入不与不希望的概念对齐。关键的是，Coffee 无需额外训练，即可通过修改文本描述灵活调整不希望的概念。我们通过以用户提示配对不希望概念图像进行微调评估 Coffee。实验结果表明，Coffee 能在微调期间防止文本到图像模型学习指定的不希望概念，优于现有方法。代码将在接受后公开。
引用
@article{arxiv.2511.14113,
title = {Coffee: Controllable Diffusion Fine-tuning},
author = {Ziyao Zeng and Jingcheng Ni and Ruyi Liu and Alex Wong},
journal= {arXiv preprint arXiv:2511.14113},
year = {2025}
}