神经网络深度与目标函数局部性之间的相互作用
机器学习
2022-01-31 v1 无序系统与神经网络
机器学习
摘要
人们已经认识到，严重过参数化的深度神经网络（DNNs）在各种机器学习任务中展现出令人惊讶的良好泛化性能。尽管从逼近论和统计学习论等不同视角对深度带来的益处进行了研究，但现有理论尚不能充分解释过参数化 DNN 的经验成功。本工作中，我们报告了深度与目标函数局部性之间一种显著的相互作用。我们引入 -局部和 -全局函数，并发现深度有利于学习局部函数，但不利于学习全局函数。这种相互作用无法被神经切线核恰当刻画，而神经切线核描述的是懒惰学习机制下无限宽神经网络。
引用
@article{arxiv.2201.12082,
title = {Interplay between depth of neural networks and locality of target functions},
author = {Takashi Mori and Masahito Ueda},
journal= {arXiv preprint arXiv:2201.12082},
year = {2022}
}
备注
15 pages. This paper is a revised version of arXiv:2005.12488