LoFA: 学习预测个性化先验以实现视觉生成模型的快速适应
计算机视觉与模式识别
2025-12-10 v1
摘要
将视觉生成模型个性化以满足特定用户需求已获得越来越多的关注，然而当前方法如低秩适应（LoRA）由于需要任务特定数据和 lengthy 优化而不切实际。虽然少数基于超网络的方法尝试直接预测适应权重，但它们难以将细粒度用户提示映射到复杂的LoRA分布，限制了其实际适用性。为了弥合这一差距，我们提出了LoFA，一个高效预测个性化先验以实现快速模型适应的一般框架。我们首先识别LoRA的一个关键特性：LoRA与基础模型参数之间的相对变化中出现了结构化分布模式。基于此，我们设计了一个两阶段超网络：首先预测捕捉关键适应区域的相对分布模式，然后利用这些模式指导最终的LoRA权重预测。大量实验表明，我们的方法能在数秒内始终预测高质量的个性化先验，覆盖多个任务和用户提示，甚至优于需要数小时处理的传统LoRA。项目页面：https://jaeger416.github.io/lofa/
引用
@article{arxiv.2512.08785,
title = {LoFA: Learning to Predict Personalized Priors for Fast Adaptation of Visual Generative Models},
author = {Yiming Hao and Mutian Xu and Chongjie Ye and Jie Qin and Shunlin Lu and Yipeng Qin and Xiaoguang Han},
journal= {arXiv preprint arXiv:2512.08785},
year = {2025}
}
备注
Project page: https://jaeger416.github.io/lofa/