EigenLoRAx：回收适配器以寻找主子空间，实现资源高效的自适应与推理
机器学习
2026-02-06 v5 人工智能
摘要
大型模型的快速增长引发了对其环境影响和因高昂计算成本导致的可及性公平问题的担忧。低秩适配器（LoRA）为微调大型模型提供了一种轻量级解决方案，从而产生了大量针对不同领域的公开可用适配器。我们提出疑问：能否利用这些预训练的适配器来进一步简化对新任务的适应，同时应对这些挑战？我们引入了EigenLoRAx，这是一种参数高效的微调方法，它回收现有适配器以创建一个与其共享领域知识对齐的主子空间，并可在低资源场景下进一步用正交基向量进行扩充。这使得仅需学习子空间主成分上的轻量级系数即可快速适应新任务，从而无需微调整个适配器。EigenLoRAx所需的参数和内存显著减少，提高了训练和推理的效率。我们的方法在多个领域和任务中展现出强大的性能，为边缘应用、个性化以及在资源受限环境中公平部署大型模型提供了一种可扩展的解决方案。
引用
@article{arxiv.2502.04700,
title = {EigenLoRAx: Recycling Adapters to Find Principal Subspaces for Resource-Efficient Adaptation and Inference},
author = {Prakhar Kaushik and Ankit Vaidya and Shravan Chaudhari and Alan Yuille},
journal= {arXiv preprint arXiv:2502.04700},
year = {2026}
}