LoKO：面向大模型在线微调的低秩卡尔曼优化器
机器学习
2025-11-10 v2
摘要
从头训练拥有数百万甚至数十亿参数的大型模型代价高昂。参数高效微调 (PEFT) 方法，特别是低秩适应 (LoRA)，通过基于梯度的优化器仅针对特定任务适配少量参数来解决此挑战。本文将 PEFT 视为最优滤波/状态估计问题，提出 Low-Rank Kalman Optimizer (LoKO) 用于在线估计最优可训练参数。我们利用 LoRA 中的低秩分解显著降低卡尔曼迭代中的矩阵规模，进一步采用协方差矩阵的对角近似，将计算复杂度从参数数量的平方降低到线性。此外，我们发现卡尔曼算法中协方差矩阵的初始化以及观测噪声协方差的准确估计是本方案的关键，我们提出了在广泛的众多成熟计算机视觉和语言模型中均能良好工作的鲁健方法。我们的结果表明，LoKO 需要更少的迭代次数即可收敛，并在图像分类和语言任务中比常用优化器配合 LoRA 获得更好性能。我们的研究开辟了利用卡尔曼滤波作为大模型在线微调有效优化器的可能性。
引用
@article{arxiv.2410.11551,
title = {LoKO: Low-Rank Kalman Optimizer for Online Fine-Tuning of Large Models},
author = {Hossein Abdi and Mingfei Sun and Andi Zhang and Samuel Kaski and Wei Pan},
journal= {arXiv preprint arXiv:2410.11551},
year = {2025}
}