Stylus：扩散模型的自动适配器选择

除了通过增加数据或参数来扩大基础模型之外，微调适配器提供了一种以较低成本生成高保真定制图像的替代方法。因此，适配器已被广泛采用于开源社区，积累了超过 10 万个适配器——其中大多数适配器高度定制且描述不足。本文探讨了将提示与一组相关适配器匹配的问题，基于最近强调组合适配器性能提升的工作。我们提出了 Stylus，能够根据提示的关键词高效选择并自动组合任务特定适配器。Stylus 采用三阶段方法：首先改进适配器描述和嵌入进行概述，检索相关适配器，然后通过检查它们如何适合提示的关键词来进一步组合适配器。为评估 Stylus，我们开发了 StylusDocs，一个包含 7.5 万个适配器并预计算适配器嵌入的精选数据集。在我们对流行的 Stable Diffusion 检查点进行评估后，Stylus 在 CLIP-FID Pareto 效率上取得更好成绩，且在人类和多模态模型作为评估者的情况下，优于基础模型，效果是基础模型的两倍。更多信息请访问 stylus-diffusion.github.io。