深度神经网络学习何种函数？来自变分样条理论的见解
机器学习
2022-04-18 v3 机器学习
摘要
我们发展了一个变分框架，以理解通过用修正线性单元激活函数拟合深度神经网络到数据所学习到的函数的性质。我们提出了一个新的函数空间，它令人联想到经典的有界变分类空间，并捕捉与深度神经网络相关的组合结构。我们推导了一个表示定理，表明深度 ReLU 网络是该空间上正则化数据拟合问题的解。该函数空间由 Radon 域中二阶有界变分的 Banach 空间中的函数复合而成。这些是具有促进稀疏性范数的 Banach 空间，从而深入揭示了稀疏性在深度神经网络中的作用。神经网络解具有跳跃连接和秩有界权重矩阵，为这些常见架构选择提供了新的理论支持。我们所研究的变分问题可重新表述为有限维神经网络训练问题，其正则化方案与权重衰减和路径范数正则化的概念相关。最后，我们的分析建立在变分样条理论的技术之上，为深度神经网络与样条之间提供了新联系。
引用
@article{arxiv.2105.03361,
title = {What Kinds of Functions do Deep Neural Networks Learn? Insights from Variational Spline Theory},
author = {Rahul Parhi and Robert D. Nowak},
journal= {arXiv preprint arXiv:2105.03361},
year = {2022}
}