SOLAR：基于子空间导向的潜在适配器重参数化实现通信高效模型适应
机器学习
2026-04-10 v1 计算与语言
计算机视觉与模式识别
摘要
参数高效微调 (PEFT) 方法，如 LoRA，使基础模型的可扩展适应成为可能，通过注入低秩适配器来实现。然而，其通信和存储成本仍是资源受限环境中的主要瓶颈。我们提出 SOLAR (Subspace-Oriented Latent Adapter Reparameterization)，一种后训练压缩框架，显著减少 PEFT 适配器的通信成本（即传输或存储的参数数量）。SOLAR 将每个 PEFT 更新表示为由基础模型奇异向量形成的基向量线性组合，这些基向量经过受控随机扰动。通过利用基础模型与任务特定微调更新之间的子空间相似性（即主方向的对齐），SOLAR 将适配器大小从 PEFT 结构中解耦，并确保紧凑而具表达力的表示。它是模型无关的，与现有 PEFT 方法兼容，包括 LoRA、AdaLoRA 和其他适配器模块。我们在理论上建立了对重建误差的界限。在使用 LLaMA、GPT 和 ViT 模型进行语言和视觉任务上的实验表明，SOLAR 在保持任务性能的同时，显著减少了模型表示的大小，为分布式系统和边缘设备的部署提供了有效且通信高效的解决方案。
引用
@article{arxiv.2604.08368,
title = {SOLAR: Communication-Efficient Model Adaptation via Subspace-Oriented Latent Adapter Reparametrization},
author = {Seyed Mahmoud Sajjadi Mohammadabadi and Xiaolong Ma and Lei Yang and Feng Yan and Junshan Zhang},
journal= {arXiv preprint arXiv:2604.08368},
year = {2026}
}