COALA：面向上下文感知低秩近似的 numerically 稳定高效框架
机器学习
2026-03-26 v3 计算与语言
数值分析
数值分析
摘要
最近的研究表明，context-aware low-rank approximation 是压缩和微调现代大规模神经网络的有用工具。在此类近似中，一个范数被输入激活矩阵加权，显著优于未加权情况。然而，现有的神经网络方法因依赖包含显式 Gram 矩阵计算及其后续求逆的经典公式而受到数值不稳定性的困扰。这可能降低近似质量或导致数值奇异矩阵。为解决这些限制，我们提出了一种 novel inversion-free 正则化框架，完全基于稳定分解，克服了先前方法的数值陷阱。我们的方法能够处理以下具有挑战性的情形：（1）校准矩阵超过 GPU 内存容量，（2）输入激活矩阵接近奇异，甚至（3）数据不足以实现唯一近似。对于后者，我们证明了该解的收敛性，并推导了显式误差界。
引用
@article{arxiv.2507.07580,
title = {COALA: Numerically Stable and Efficient Framework for Context-Aware Low-Rank Approximation},
author = {Uliana Parkina and Maxim Rakhuba},
journal= {arXiv preprint arXiv:2507.07580},
year = {2026}
}