切比雪夫矩正则化 (CMR):通过矩塑形控制条件数
机器学习
2025-10-28 v1 数值分析
数值分析
摘要
我们提出了\textbf{切比雪夫矩正则化 (CMR)},这是一种简单且与体系结构无关的损失函数,直接优化层 spectra。CMR 同时通过 log-条件代理控制谱边,并通过切比雪夫矩塑形内部,采用解耦、受限的混合规则以保持任务梯度。我们证明了条件代理的严格单调下降、矩梯度的界限以及正交不变性。在对抗性``-stress'' 设置下(MNIST, 15 层 MLP),CMR 相较于 vanilla 训练将平均层条件数降低约 (从 降至 在 5 个 epoch),增加平均梯度幅度,并恢复测试准确率( )。这些结果支持\textbf{优化驱动的谱预条件}:直接引导模型走向良好条件的 regime,以实现稳定、准确的学习。
引用
@article{arxiv.2510.21772,
title = {Chebyshev Moment Regularization (CMR): Condition-Number Control with Moment Shaping},
author = {Jinwoo Baek},
journal= {arXiv preprint arXiv:2510.21772},
year = {2025}
}
备注
15 pages