深度神经网络函数逼近中理论与实践的鸿沟

深度学习(DL)正在变革工业界,因为基于真实世界数据训练的深度神经网络(DNNs)正将决策过程自动化。部分受迅速扩展的 DNN 逼近理论文献驱动——这些文献表明 DNN 可以逼近丰富多样的函数——此类工具正日益被考虑用于科学计算中的问题。然而,与该领域的传统算法不同,从数值分析原理(例如稳定性、精度、计算效率与样本复杂度)出发,人们对 DNN 知之甚少。在本文中,我们引入一个计算框架用于考察实践中的 DNN,并借此研究其在这些问题上的经验性能。我们研究了不同宽度与深度的 DNN 在多种维度(包括光滑与分段光滑函数)的测试函数上的性能。我们还将 DL 与基于压缩感知(CS)的最优光滑函数逼近方法进行了比较。这些实验的主要结论是:DNN 的逼近理论与其实际性能之间存在关键鸿沟,经训练的 DNN 在具有强逼近结果的函数(如光滑函数)上表现相对较差,而在其他函数上相较于最优方法表现良好。为进一步分析此鸿沟,我们提供了一些理论见解。我们建立了一个实际存在性定理,断言存在一种 DNN 架构与训练过程,其性能与 CS 相同。这确立了一个关键的理论基准,表明该鸿沟可以被弥合,尽管是通过一种保证表现不优于、但也不劣于当前最优方案的策略。尽管如此,它通过凸显借助精心设计的 DNN 架构与训练策略实现更优方案的潜力,展示了实用 DNN 逼近的前景。