基于 Lipschitz 常数的深度神经网络架构表达能力分析
机器学习
2019-12-30 v1 机器人学
系统与控制
系统与控制
机器学习
摘要
深度神经网络（DNNs）因能够建模高度非线性函数，已成为函数逼近的流行数学工具。其应用涵盖图像分类、自然语言处理到基于学习的控制。尽管取得了经验上的成功，对这类深度架构表征能力的理论理解仍然缺乏。本工作中，我们对具有 1-Lipschitz 激活函数的全连接前馈 DNN 的表达能力提供理论分析。具体而言，我们用 DNN 的 Lipschitz 常数刻画其表达能力。借助随机矩阵理论，我们证明在权重足够大且随机分布时，DNN 的 Lipschitz 常数的期望上下界及其表达能力随深度指数增长、随宽度多项式增长，这揭示了深度 DNN 架构在高效函数逼近中的益处。该观察与基于 DNN 替代表达能力度量的既有结果一致。与多数现有工作不同，我们基于 DNN Lipschitz 性质的分析适用于更广范围的激活非线性，并潜在地允许我们对 DNN 的复杂度与待逼近函数进行合理比较。我们认为本工作是理解 DNN 表达能力以及为系统控制等实际应用设计合适深度架构的一步。
引用
@article{arxiv.1912.11511,
title = {An Analysis of the Expressiveness of Deep Neural Network Architectures Based on Their Lipschitz Constants},
author = {SiQi Zhou and Angela P. Schoellig},
journal= {arXiv preprint arXiv:1912.11511},
year = {2019}
}
备注
L4DC