AC-LoRA：用于个性化艺术风格图像生成的自动组件 LoRA
计算机视觉与模式识别
2025-04-04 v1 人工智能
摘要
个性化图像生成允许用户保留所提供的少量图像中的风格或主体，以用于后续图像生成。随着大型文本到图像模型的发展，已developed许多技术来高效微调这些模型以实现个性化，例如低秩适应 (Low Rank Adaptation, LoRA)。然而，LoRA-based 方法常面临调整秩参数以获得满意结果的挑战。为解决这一挑战，提出了自动组件 LoRA (AutoComponent-LoRA, AC-LoRA)，其能够自动分离 LoRA 矩阵的信号分量和噪声分量，以实现快速高效的个性化艺术风格图像生成。该方法基于奇异值分解 (Singular Value Decomposition, SVD) 和动态启发式方法，在训练期间更新超参数。在克服模型欠拟合或过拟合问题方面，AC-LoRA 的性能优于现有方法。结果通过 FID、CLIP、DINO 和 ImageReward 进行了验证，平均提升了 9%。
引用
@article{arxiv.2504.02231,
title = {AC-LoRA: Auto Component LoRA for Personalized Artistic Style Image Generation},
author = {Zhipu Cui and Andong Tian and Zhi Ying and Jialiang Lu},
journal= {arXiv preprint arXiv:2504.02231},
year = {2025}
}
备注
11 pages, 4 figures, ICCGV 2025, SPIE