学习何时重整化：幂律谱动力学的充分条件
机器学习
2026-01-14 v5 人工智能
摘要
经验幂律标度已在现代深度学习系统中被广泛观测到，但其理论起源和有效性范围仍未完全理解。广义分辨率-壳动力学（GRSD）框架将学习建模为跨对数分辨率壳的谱能量传输，提供了训练的一个粗粒化动力学描述。在GRSD中，幂律标度对应于一个特别简单的重整化壳动力学；然而，这种行为并非自动发生，需要学习过程的额外结构性质。在这项工作中，我们确定了一组充分条件，在这些条件下，GRSD壳动力学允许一个可重整化的粗粒化描述。这些条件在多个层面约束了学习配置，包括计算图中梯度传播的有界性、初始化时的弱功能非相干性、训练过程中受控的Jacobian演化，以及重整化壳耦合的对数平移不变性。我们进一步表明，幂律标度并非仅由可重整化性得出，而是作为一种刚性结果出现：一旦对数平移不变性与梯度流的内在时间重标协方差相结合，重整化的GRSD速度场就被迫呈现幂律形式。
引用
@article{arxiv.2512.18209,
title = {When Does Learning Renormalize? Sufficient Conditions for Power Law Spectral Dynamics},
author = {Yizhou Zhang},
journal= {arXiv preprint arXiv:2512.18209},
year = {2026}
}