SALAAD：基于 ADMM 的稀疏低秩适应
机器学习
2026-02-09 v2
摘要
现代大语言模型在计算和内存受限的环境中部署日益增多，对模型容量的灵活控制已成为核心挑战。虽然稀疏和低秩结构天然地在容量和性能之间进行权衡，但现有方法往往依赖经验性设计，忽略层和矩阵的异质性，或需要模型特定的架构修改。我们提出 SALAAD，一个可插即式框架，可适用于不同模型架构，在训练期间诱导稀疏和低秩结构。通过在增广拉格朗日框架下对结构化权重学习进行建模，并引入自适应控制器动态平衡训练损失和结构约束，SALAAD 保持标准训练动力学的稳定性，同时实现对有效模型容量演变的显式控制。跨模型规模的实验表明，SALAAD 在部署期间显著降低内存消耗，同时实现与专用方法相当的性能。此外，单次训练可生成连续的模型容量谱，使其能够在无需重新训练的情况下平滑且弹性地适应多样化的内存预算。
引用
@article{arxiv.2602.00942,
title = {SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference},
author = {Hao Ma and Melis Ilayda Bal and Liang Zhang and Bingcong Li and Niao He and Melanie Zeilinger and Michael Muehlebach},
journal= {arXiv preprint arXiv:2602.00942},
year = {2026}
}