ReLU 网络深度优势的简易几何证明
机器学习
2021-01-19 v1
摘要
我们给出了带修正激活函数的多层前馈网络深度优势（即“深度分离”）的一个简单证明。具体而言，我们给出了一组由 索引的分类问题序列，使得（a）对于任意固定深度的修正网络，存在某个 ，当 大于该值后正确分类问题 所需的参数数量呈指数级（关于 ）；且（b）对于序列中的任意问题，我们给出一个具体的神经网络，其深度为线性（关于 ）且宽度很小为常数（），能以零误差分类该问题。该构造性证明基于几何论证与空间折叠构造。尽管已有更强的结果与界，我们的证明所用工具与技术显著更简单，计算机科学专业本科生及类似背景者亦可理解。
引用
@article{arxiv.2101.07126,
title = {A simple geometric proof for the benefit of depth in ReLU networks},
author = {Asaf Amrami and Yoav Goldberg},
journal= {arXiv preprint arXiv:2101.07126},
year = {2021}
}
备注
9 pages, 5 figures