深层神经网络的重整化群：学习的普遍性与标度律
无序系统与神经网络
2026-01-05 v2
摘要
自相似性——即不同尺度上的可观测量表现出相似行为——在自然系统中无处不在。此类系统通常由幂律关联和普遍性特征，并使用重整化群(RG)这一强大的框架进行研究。令人惊讶的是，幂律及其弱形式的普遍性也广泛存在于真实数据集和深度学习模型中，这就激发了将RG思想应用于深度学习分析的动机。在本工作中，我们发展了一种分析深度学习中学习曲线自相似性及其破坏的RG框架，用于一类弱非线性(非懒惰)神经网络，这些网络在幂律分布的数据上进行训练。标准处理中常被忽视的特征——如谱的离散性和缺乏平移不变性——导致从传统扰动RG的定性和定量差异。在 particular，我们发现概念上的标度区间自然取代标度维度的概念。尽管存在这些差异，该框架仍保留关键的RG特征：它能够将扰动分类为相关或无关，并在大数据极限下揭示一种由高斯过程类似紫外固定点支配的普遍性形式。
引用
@article{arxiv.2510.25553,
title = {Renormalization group for deep neural networks: Universality of learning and scaling laws},
author = {Gorka Peraza Coppola and Moritz Helias and Zohar Ringel},
journal= {arXiv preprint arXiv:2510.25553},
year = {2026}
}