CollectionLoRA：通过多教师策略蒸馏收集50种效果于1个LoRA
计算机视觉与模式识别
2026-05-28 v2 人工智能
摘要
定制化图像编辑旨在使用有限的配对数据为预训练扩散模型注入特定视觉效果，通常通过低秩适应（LoRA）实现。随着所需效果数量的增加，存储和动态加载大量效果LoRA会显著增加部署开销。此外，当前管道通常将这些效果LoRA级联到加速模块以进行快速生成，导致严重的参数干扰，引发概念衰减和风格退化。我们提出CollectionLoRA，一种多教师策略蒸馏框架，能够将最高50种不同效果LoRA的概念以及few-step生成能力蒸馏到单个LoRA中。这从根本上解决了特征干扰问题，大幅降低了部署成本。具体而言，该方法引入（i）概率双流路由机制，使模型在训练期间能够随机切换数据源，从而有效提升其在未见情景下的泛化能力；（ii）非对称正交提示策略，以实现提示空间内的概念隔离；（iii）粗到细蒸馏目标，以缓解教师模型和学生模型之间的分布差距。广泛的评估表明，CollectionLoRA将所有定制化效果和few-step生成蒸馏到单个LoRA中，减少部署开销，同时实现与独立训练教师模型相当或更好的概念保真度。
引用
@article{arxiv.2605.25378,
title = {CollectionLoRA: Collecting 50 Effects in 1 LoRA via Multi-Teacher On-Policy Distillation},
author = {Fangtai Wu and Hailong Guo and Shijie Huang and Jiayi Song and Yubo Huang and Mushui Liu and Zhao Wang and Yunlong Yu and Jiaming Liu and Ruihua Huang},
journal= {arXiv preprint arXiv:2605.25378},
year = {2026}
}