Concept Sliders：用于扩散模型精确控制的 LoRA 适配器
计算机视觉与模式识别
2023-11-28 v2
摘要
我们提出一种创建可解释概念滑块的方法，能够对扩散模型图像生成中的属性进行精确控制。我们的方法识别对应于单一概念的低秩参数方向，同时最小化对其他属性的干扰。滑块使用少量提示词或样本图像创建；因此可为文本或视觉概念创建滑块方向。Concept Sliders 即插即用：它们可高效组合并连续调节，实现图像生成的精确控制。在对比先前编辑技术的定量实验中，我们的滑块展现出更强的定向编辑与更低的干扰。我们展示了天气、年龄、风格与表情的滑块，以及滑块组合。我们展示滑块如何迁移 StyleGAN 的潜变量，以直观编辑难以文本描述的视觉概念。我们还发现该方法可帮助解决 Stable Diffusion XL 中持续存在的质量问题，包括修复物体变形与修正扭曲手部。我们的代码、数据与训练好的滑块可在 https://sliders.baulab.info/ 获取。
引用
@article{arxiv.2311.12092,
title = {Concept Sliders: LoRA Adaptors for Precise Control in Diffusion Models},
author = {Rohit Gandikota and Joanna Materzynska and Tingrui Zhou and Antonio Torralba and David Bau},
journal= {arXiv preprint arXiv:2311.12092},
year = {2023}
}