DyKAF：面向梯度预条件的动态 Kronecker 近似
机器学习
2025-11-11 v1 数值分析
数值分析
最优化与控制
摘要
最近，一些显式将权重视为矩阵而非展平向量的优化器表现出色。这种视角自然导致 Fisher 矩阵的结构化近似作为预条件器，其中矩阵视图引导 Kronecker 因子化形式，从而实现高效的存储表示。然而，在高效且准确地构建此类近似方面仍面临挑战，因为获取最优分解需要大量资源，实际方法因此依赖于启发式设计选择。在本工作中，我们引入一种新方法，利用投影分裂积分器构建有效的预条件器。我们的优化器 DyKAF (Dynamical Kronecker Approximation of the Fisher Matrix) 持续改进 Fisher 矩阵近似质量。在大型语言模型预训练和微调实验中，DyKAF 在各种评估指标上均优于现有优化器。
引用
@article{arxiv.2511.06477,
title = {DyKAF: Dynamical Kronecker Approximation of the Fisher Information Matrix for Gradient Preconditioning},
author = {Nikolay Yudin and Ekaterina Grishina and Andrey Veprikov and Alexandr Beznosikov and Maxim Rakhuba},
journal= {arXiv preprint arXiv:2511.06477},
year = {2025}
}