条件LoRA参数生成
人工智能
2024-08-05 v1 机器学习
摘要
生成模型在图像、视频和文本领域取得了显著成功。受此启发，研究人员探索利用生成模型来生成神经网络参数。然而，这些工作受限于参数规模以及生成高性能参数的可行性。本文提出COND P-DIFF，一种展示可控高性能参数生成可行性的新方法，尤其适用于微调过程中的LoRA（低秩适应）权重。具体而言，我们采用自编码器提取参数的高效潜在表示。随后，我们训练一个条件潜在扩散模型，根据特定任务条件从随机噪声中合成高性能模型参数。在计算机视觉和自然语言处理领域的实验结果一致表明，COND P-DIFF可以根据给定任务生成高性能参数。此外，我们观察到COND P-DIFF生成的参数分布与常规优化方法获得的分布存在差异，表明其具有一定的泛化能力。我们的工作为条件驱动的参数生成开辟了进一步探索的道路，为神经网络的任务特定适应提供了一个有前景的方向。
引用
@article{arxiv.2408.01415,
title = {Conditional LoRA Parameter Generation},
author = {Xiaolong Jin and Kai Wang and Dongwen Tang and Wangbo Zhao and Yukun Zhou and Junshu Tang and Yang You},
journal= {arXiv preprint arXiv:2408.01415},
year = {2024}
}