深度神经网络的学习曲线：高斯场论视角
机器学习
2021-04-14 v4 统计力学
神经与进化计算
数据分析、统计与概率
机器学习
摘要
在过去十年中，深度神经网络（DNNs）作为多种任务的主导机器学习算法崭露头角。其兴起基于市场需求与工程技艺，而后者更多依赖试错而非理论。尽管仍远落后于应用前沿，深度神经网络的理论研究近期在分析可获若干精确结果的高度过参数化 regime 上取得了重要进展。借助这些思想并采用更具物理风格的方法，我们在此构建了一个涉及重整化群、费曼图与副本法的通用监督深度学习场论形式体系。特别地，我们展示了该方法可对在多项式回归任务上训练的真实深度 DNN 的学习曲线作出高度准确的预测，且这些预测可用于高效的超参数优化。此外，它们解释了 DNN 尽管高度过参数化却泛化良好的原因，这源于对简单函数的熵偏置——对于数据采样于超球面上的全连接 DNN，这些函数是输入向量的低阶多项式。作为人工神经元的复杂相互作用系统，我们相信这些借自凝聚态物理的工具与方法学将被证明对获得深度学习的准确定量理解至关重要。
引用
@article{arxiv.1906.05301,
title = {Learning Curves for Deep Neural Networks: A Gaussian Field Theory Perspective},
author = {Omry Cohen and Or Malka and Zohar Ringel},
journal= {arXiv preprint arXiv:1906.05301},
year = {2021}
}