矩阵白化优化器中到底关乎什么？
机器学习
2025-10-30 v1
摘要
近期涌现出的多种优化器皆以不同方式逼近相同的“矩阵白化”变换。本文系统性地解构了此类优化器，旨在厘清解释性能表现的关键因素。在调优超参数后，所有矩阵白化方法都可靠地超越元素级方法（如 Adam）。矩阵白化常与谱梯度相关——然而，实验发现，性能提升*并非仅由准确的谱归一化所解释*，尤其是 SOAP 在单步收益上最大，尽管 Muon 更准确地沿最陡谱梯度方向下降。相反，我们认为矩阵白化 serve 两个目的，方差适应组件是解释此性能差距的被忽略的关键因素。实验表明，采用方差适应的优化器始终优于基于符号梯度的优化器，包括针对 Muon 的自适应版本。我们进一步消融了方差适应策略，发现虽然前瞻式近似方法并不如此有效，但低秩方差估计器可在不损失性能的前提下有效降低内存开销。
引用
@article{arxiv.2510.25000,
title = {What Really Matters in Matrix-Whitening Optimizers?},
author = {Kevin Frans and Pieter Abbeel and Sergey Levine},
journal= {arXiv preprint arXiv:2510.25000},
year = {2025}
}