多类交叉熵的快速高斯-牛顿法
机器学习
2026-05-08 v1
摘要
在多类softmax交叉熵中，完整的广义高斯-牛顿（GGN）曲率通过softmax协方差将所有输出logit耦合起来，使得随着类别数量增长，曲率-向量乘积的规模变得更难扩展。我们展示，标准的多类GGN可以准确分解为一个真实-vs-rest项和一个正半定性的在竞争者内部协方差项。快速高斯-牛顿（FGN）保留前者而丢弃后者，得到对多类GGN的正半定性低估，且在二分类情形下完全精确。该分解使用了softmax交叉熵的精确真实-vs-rest标量边际表示：损失和梯度保持不变，仅在曲率层面引入近似。利用FGN的曲率结构，阻尼更新可写为等价的白化行空间系统，其中每个mini-batch样本对应一行。我们通过矩阵-free方式使用共轭梯度求解该系统，利用标量边际映射的Jacobian-向量积和向量-Jacobian积。针对性机制实验及在固定特征多类头上的评估支持了分解的预测：FGN在竞争者质量集中或阻尼较大时最接近完整softmax GGN，而随着被丢弃的在竞争者内部协方差增大而偏离。
引用
@article{arxiv.2605.06081,
title = {Fast Gauss-Newton for Multiclass Cross-Entropy},
author = {Mikalai Korbit and Mario Zanon},
journal= {arXiv preprint arXiv:2605.06081},
year = {2026}
}
备注
29 pages, 3 figures, 1 table, 1 algorithm