面向 ReLU 网络的正则性理论——链式法则与全局误差估计
机器学习
2020-11-12 v1 机器学习
摘要
尽管对具有局部 Lipschitz 连续激活函数的神经网络，经典导数几乎处处存在，但标准链式法则一般不适用。我们将考虑一种为神经网络引入导数的方法，它容许链式法则，且既严谨又易于处理。此外，我们将给出一种将有界域上的逼近结果转换为全局（逐点）估计的方法。这可用于将已知的神经网络逼近理论扩展至包含正则性性质的研究。特别令人感兴趣的是其在带 ReLU 激活函数的神经网络上的应用，它有助于理解深度学习方法在高维偏微分方程上取得成功的原因。
引用
@article{arxiv.1905.04992,
title = {Towards a regularity theory for ReLU networks -- chain rule and global error estimates},
author = {Julius Berner and Dennis Elbrächter and Philipp Grohs and Arnulf Jentzen},
journal= {arXiv preprint arXiv:1905.04992},
year = {2020}
}
备注
Accepted for presentation at SampTA 2019