基于 ReLU 神经网络的深度表示
机器学习
2019-04-01 v1 信号处理
机器学习
摘要
我们从信号处理的角度考察带修正线性单元的深度前馈神经网络。在此视角下，此类表示标志着从使用单一（数据驱动的）线性表示，转向利用为信号空间特定区域量身定制的大量仿射线性表示。本文精确描述了（数据驱动的）神经网络为输入空间中每个信号所关联的单个仿射线性表示及相应域区域。特别地，我们描述了表示的原子分解，并基于对其 Lipschitz 正则性的估计，提出了一些能够稳定学习且与网络深度无关的条件。此类分析或可促进信号处理与机器学习两个领域的进一步理论洞见。
引用
@article{arxiv.1903.12384,
title = {Deep Representation with ReLU Neural Networks},
author = {Andreas Heinecke and Wen-Liang Hwang},
journal= {arXiv preprint arXiv:1903.12384},
year = {2019}
}