DreamCache:通过特征缓存实现无微调轻量化个性化图像生成
计算机视觉与模式识别
2024-11-28 v1 人工智能
机器学习
摘要
个性化图像生成需要能够捕捉参考主题核心特征的文本到图像生成模型,以实现跨不同上下文的受控生成。现有方法面临复杂训练需求、高推理成本、灵活性有限或上述问题组合等挑战。本文引入 DreamCache,一种高效且高质量的个性化图像生成方法。通过缓存预训练扩散去噪器中少量参考图像特征(来自子集层和单个时间步),DreamCache 通过轻量级训练的条件适配器实现对生成图像特征的动态调制。DreamCache 在图像和文本对齐方面实现了最先进的性能,额外参数数量仅为现有模型的数量级,且在计算效率和通用性上均优于现有模型。
引用
@article{arxiv.2411.17786,
title = {DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching},
author = {Emanuele Aiello and Umberto Michieli and Diego Valsesia and Mete Ozay and Enrico Magli},
journal= {arXiv preprint arXiv:2411.17786},
year = {2024}
}
备注
16 pages, 8 figures