KOALA++：基于卡尔曼的高效优化算法，结合梯度协方差积
机器学习
2025-10-27 v3 最优化与控制
摘要
我们提出了 KOALA++，一种可扩展的卡尔曼基于优化算法，显式建模神经网络训练中的结构化梯度不确定性。与二阶方法不同，后者依赖于昂贵的二阶梯度计算，我们的方法直接通过递归更新紧凑的梯度协方差积来估计参数协方差矩阵。该设计改进了最初的 KOALA 框架，该框架假设对角协方差，通过隐式捕获更丰富的不确定性结构而无需存储完整协方差矩阵，避免大矩阵逆运算。在 diverse 任务中，包括图像分类和语言建模，KOALA++ 在准确率上与最先进的一级和二级优化器相当或更好，同时保持了一级方法的效率。
引用
@article{arxiv.2506.04432,
title = {KOALA++: Efficient Kalman-Based Optimization with Gradient-Covariance Products},
author = {Zixuan Xia and Aram Davtyan and Paolo Favaro},
journal= {arXiv preprint arXiv:2506.04432},
year = {2025}
}