谱边界的生命周期：从梯度学习到权重衰减压缩
机器学习
2026-04-10 v1
摘要
我们将谱边界——参数更新的Gram矩阵的主导方向——在grokking过程中的两个序列任务（Dyck-1和SCAN）中分解为梯度和权重衰减分量。我们发现了一个尖锐的两阶段生命周期：grokking之前，边界由梯度驱动且功能活跃；在grokking时，梯度和权重衰减对齐，边界成为一个压缩轴，扰动平坦但消融关键（比随机方向影响大4000倍以上）。三种普适类出现（功能性、混合、压缩），由间隙流方程预测。非线性探针显示信息被重新编码而非丢失（MLP R²=0.99，线性R²=0.86），移除grokking后的权重衰减会逆转压缩同时保留算法。
引用
@article{arxiv.2604.07380,
title = {The Lifecycle of the Spectral Edge: From Gradient Learning to Weight-Decay Compression},
author = {Yongzhong Xu},
journal= {arXiv preprint arXiv:2604.07380},
year = {2026}
}
备注
15 pages, 12 figures