卷积神经网络中池化函数的泛化：混合、门控与树形
机器学习
2015-10-13 v2 机器学习
神经与进化计算
摘要
我们旨在通过泛化在当前架构中扮演核心角色的池化操作来改进深度神经网络。我们仔细探索了允许池化学习并适应复杂多变模式的方法。两个主要方向在于：(1) 通过（两种策略的）最大池化与平均池化组合来学习池化函数，以及 (2) 以树形结构融合本身被学习的池化滤波器的方式学习池化函数。在我们的实验中，我们所探索的每一种广义池化操作在替代平均或最大池化时都能提升性能。我们通过实验证明，相较于常规池化，所提出的池化操作增强了不变性属性，并在多个广泛采用的基准数据集上达到了最先进水平；它们也易于实现，并可应用于各种深度神经网络架构。这些好处仅带来训练期间计算开销的轻微增加以及模型参数数量的非常有限的增加。
引用
@article{arxiv.1509.08985,
title = {Generalizing Pooling Functions in Convolutional Neural Networks: Mixed, Gated, and Tree},
author = {Chen-Yu Lee and Patrick W. Gallagher and Zhuowen Tu},
journal= {arXiv preprint arXiv:1509.08985},
year = {2015}
}
备注
Patent disclosure, UCSD Docket No. SD2015-184, "Forest Convolutional Neural Network", filed on March 4, 2015. UCSD Docket No. SD2016-053, "Generalizing Pooling Functions in Convolutional Neural Network", filed on Sept 23, 2015