学习的半经验理论
机器学习
2025-07-29 v2 统计力学
摘要
我们提出了学习的半经验理论 (SETOL)，以解释深度神经网络 (NN) 性能的显著表现。 我们对重型自我正规化 (HTSR) 现象学理论中的基本量的来源提供了形式化解释：重尾幂律层质量指标 alpha 和 alpha-hat。 在先前的工作中，这些指标已被证明可预测预训练 SOTA NN 模型的测试准确率趋势，关键在于无需访问测试数据或训练数据。 SETOL 采用统计力学中的技术，以及来自随机矩阵理论和量子化学的高级方法。 推导建议新的理想学习的数学前提，包括一种新的度量 ERG，其等效于应用单步威尔逊精确重整化群。 我们在简单三层多层感知器 (MLP) 上测试了 SETOL 的假设和预测，结果与关键理论假设高度吻合。 对于 SOTA NN 模型，我们展示如何仅通过计算网络训练后各层权重矩阵的经验谱密度 (ESD) 并将其输入到 SETOL 公式中，即可估计单个层的质量。 有趣的是，我们检查了 HTSR alpha 和 SETOL ERG 层质量指标的表现，发现它们在我们的 MLP 和 SOTA NN 上对齐非常好。
引用
@article{arxiv.2507.17912,
title = {SETOL: A Semi-Empirical Theory of (Deep) Learning},
author = {Charles H Martin and Christopher Hinrichs},
journal= {arXiv preprint arXiv:2507.17912},
year = {2025}
}
备注
139 pages, 28 figures. Code for experiments available at https://github.com/charlesmartin14/SETOL_experiments