基于格点的深度ReLU神经网络表达能力研究
机器学习
2020-01-20 v2 信息论
math.IT
机器学习
摘要
我们给出Rn中仿射片数量随指数增长的连续分段线性(CPWL)函数新族。我们表明这些函数可视为Telgarsky于2016年所用三角波函数的高维推广。我们证明它们可由深度为二次、宽度为空间维度线性的ReLU网络计算。我们还研究了其中一类函数被更浅网络逼近的误差,并证明了一个分离结果。我们的函数与其他构造的主要区别在于其实用价值:它们出现在信道编码的范畴内。因此,计算此类函数等价于执行解码操作。
引用
@article{arxiv.1902.11294,
title = {A lattice-based approach to the expressivity of deep ReLU neural networks},
author = {Vincent Corlay and Joseph J. Boutros and Philippe Ciblat and Loic Brunel},
journal= {arXiv preprint arXiv:1902.11294},
year = {2020}
}
备注
arXiv admin note: text overlap with arXiv:1902.05146