MAC：一种基于均值激活近似曲率的高效梯度预条件方法
机器学习
2025-11-12 v2
摘要
二阶优化方法（如 KFAC）在训练神经网络时能够利用损失景观的曲率信息，从而实现更好的收敛性能，但其计算负担较大。本文分析构成 KFAC 中所用层级 Fisher 信息矩阵（FIM）的两个组成部分：与激活和预激活梯度相关的 Kronecker 因子。基于对其特征谱的经验观察，我们提出对其进行高效近似，从而得到一种计算高效的优化方法，称为 MAC。据我们所知，MAC 是首种将 Kronecker 分解应用于 Transformer 中注意力层 FIM 的算法，并且显式地将注意力得分集成到预条件中。我们还研究了 MAC 在非线性神经网络上的收敛性，并提供两种其收敛至全局最小值的情况。我们的广泛评估表明，该方法在准确率、端到端训练时间和内存使用方面均优于 KFAC 和其他前沿方法。
引用
@article{arxiv.2506.08464,
title = {MAC: An Efficient Gradient Preconditioning using Mean Activation Approximated Curvature},
author = {Hyunseok Seung and Jaewoo Lee and Hyunsuk Ko},
journal= {arXiv preprint arXiv:2506.08464},
year = {2025}
}
备注
Accepted to the IEEE International Conference on Data Mining (ICDM-2025)