中文

切比雪夫矩正则化 (CMR):通过矩塑形控制条件数

机器学习 2025-10-28 v1 数值分析 数值分析

摘要

我们提出了\textbf{切比雪夫矩正则化 (CMR)},这是一种简单且与体系结构无关的损失函数,直接优化层 spectra。CMR 同时通过 log-条件代理控制谱边,并通过切比雪夫矩塑形内部,采用解耦、受限的混合规则以保持任务梯度。我们证明了条件代理的严格单调下降、矩梯度的界限以及正交不变性。在对抗性``κ\kappa-stress'' 设置下(MNIST, 15 层 MLP),CMR 相较于 vanilla 训练将平均层条件数降低约 10310^3(从 3.9 ⁣× ⁣103\approx3.9\!\times\!10^3 降至 3.4\approx3.4 在 5 个 epoch),增加平均梯度幅度,并恢复测试准确率( 10% ⁣ ⁣86%\approx10\%\!\to\!\approx86\%)。这些结果支持\textbf{优化驱动的谱预条件}:直接引导模型走向良好条件的 regime,以实现稳定、准确的学习。

关键词

引用

@article{arxiv.2510.21772,
  title  = {Chebyshev Moment Regularization (CMR): Condition-Number Control with Moment Shaping},
  author = {Jinwoo Baek},
  journal= {arXiv preprint arXiv:2510.21772},
  year   = {2025}
}

备注

15 pages