LoRA 中的潜在空间分解
机器学习
2025-10-23 v1
摘要
低秩适应(LoRA)是参数高效微调的广泛使用方法。然而，现有 LoRA 变体缺乏机制显式地在学习的低秩子空间中消除任务相关信息，可能限制下游性能。我们提出了因子化变分自编码器 LoRA(FVAE-LoRA)，利用 VAE 学习两个 distinct 的潜在空间。我们新近证据下界(Evidence Lower Bound)的表述显式促进潜在空间之间的因子化，专为任务显著特征和残余信息各学习一个潜在空间。在文本、音频和图像任务上进行的大量实验表明，FVAE-LoRA 持续优于标准 LoRA。此外，虚假相关性评估确认 FVAE-LoRA 更好地隔离任务相关信号，提高了在分布迁移下的鲁棒性。我们的代码已公开于：https://github.com/idiap/FVAE-LoRA
引用
@article{arxiv.2510.19640,
title = {Latent Space Factorization in LoRA},
author = {Shashi Kumar and Yacouba Kaloga and John Mitros and Petr Motlicek and Ina Kodrasi},
journal= {arXiv preprint arXiv:2510.19640},
year = {2025}
}
备注
Accepted at NeurIPS 2025