论深度学习重叠架构的表达能力
机器学习
2018-02-27 v4 神经与进化计算
机器学习
摘要
表达效率描述两种架构 A 与 B 之间的关系：B 能实现的任何函数均可由 A 复现，但存在 A 能实现而 B 无法复现的函数，除非 B 的规模显著增大。例如，已知深层网络相对于浅层网络具有指数级效率，即浅层网络必须呈指数级增长才能逼近由多项式规模的深层网络所表示的函数。本文将表达效率的研究扩展到网络连接性属性，特别是卷积过程中“重叠”的效应，即当卷积步长小于其滤波器尺寸（感受野）时。为从理论上分析网络设计的这一方面，我们聚焦于一个成熟的卷积网络替代模型——卷积算术电路（ConvACs），然后通过实验证明我们的结果同样适用于标准卷积网络。具体而言，我们的分析表明，具有重叠的局部感受野以及更广泛的密集连接，会导致神经网络表达能力的指数级增长。此外，虽然更密集的连接可以增加表达能力，但我们指出现代架构中最常见的类型已经展现出表达能力的指数级增长，而无需依赖全连接层。
引用
@article{arxiv.1703.02065,
title = {On the Expressive Power of Overlapping Architectures of Deep Learning},
author = {Or Sharir and Amnon Shashua},
journal= {arXiv preprint arXiv:1703.02065},
year = {2018}
}
备注
Published as a conference paper at ICLR 2018