GenEFT：基于有效理论理解模型泛化的静态与动态特性
机器学习
2025-03-21 v2
摘要
我们提出了 GenEFT：一个用于揭示神经网络泛化静态与动态特性的有效理论框架，并通过图学习示例加以说明。我们首先研究了随数据量增加而发生的泛化相变，并将实验结果与基于信息论的近似进行了比较。我们发现在“金发姑娘”区间内存在泛化，此时解码器既不过弱也不过强。随后，我们引入了一种关于表示学习动态的有效理论，将潜空间表示建模为相互作用粒子（repons），并发现该理论能够解释我们在扫描编码器和解码器学习率时实验观察到的泛化与过拟合之间的相变。这凸显了受物理学启发的有效理论在弥合机器学习中理论预测与实践之间差距方面的潜力。
引用
@article{arxiv.2402.05916,
title = {GenEFT: Understanding Statics and Dynamics of Model Generalization via Effective Theory},
author = {David D. Baek and Ziming Liu and Max Tegmark},
journal= {arXiv preprint arXiv:2402.05916},
year = {2025}
}
备注
12 pages, 6 figures