基于矩阵正交化动量的差分私有优化：DP-Muon

我们研究使用 Muon（一种基于动量并随后 Newton--Schulz 正交化更新隐藏层权重的矩阵型优化器）进行差分私有（DP）训练。虽然 DP-SGD 已被充分理解，但 DP 与 per-example 抢断、高斯噪声、动量以及非线性正交化在 Muon 中的相互作用尚未系统分析。我们提出 DP-Muon，即一种私有化的 Muon 流程：对 per-example 矩阵梯度进行抢断，将抢断后噪声平均值加入高斯噪声，然后作为后处理应用动量和 Newton--Schulz 正交化。我们证明 DP-Muon 继承由相同批次抽样高斯账户器认证的隐私保证，不因 Muon 特定后处理产生额外隐私成本。在优化方面，我们在 per-matrix 抢断下建立有限时域和消失 Stationarity 保证，分离优化误差、抢断残差、隐私噪声和 Newton--Schulz 近似误差。我们进一步表明，DP 在 Muon 中的偏差并非来源于线性动量缓冲区本身，而是出现在非线性 Newton--Schulz 映射之后，此时高斯噪声引起矩阵型 heat-smoothing 偏差。这激励我们提出 DP-MuonBC，即一种偏差校正变体，移除主导输出级偏差项，同时保持相同隐私预算。实验在 E2E 和 DART 上表明，Muon 风格的矩阵更新改善了私有微调，DP-MuonBC 在不增加隐私预算的情况下进一步提升了实用性。