动态容量网络
机器学习
2016-05-24 v7 神经与进化计算
摘要
我们提出了动态容量网络（DCN），一种能够跨输入数据的不同部分自适应分配其容量的神经网络。这是通过结合两类模块实现的：低容量子网络与高容量子网络。低容量子网络应用于输入的大部分区域，同时也提供引导以选择输入的少数部分，在其上应用高容量子网络。该选择通过一种新颖的基于梯度的注意力机制完成，其高效识别出 DCN 输出最敏感且我们应投入更多容量的输入区域。我们的实证评估聚焦于 Cluttered MNIST 与 SVHN 图像数据集。我们的结果表明，与传统卷积神经网络相比，DCN 能够大幅减少计算量，同时保持相似甚至更优的性能。
引用
@article{arxiv.1511.07838,
title = {Dynamic Capacity Networks},
author = {Amjad Almahairi and Nicolas Ballas and Tim Cooijmans and Yin Zheng and Hugo Larochelle and Aaron Courville},
journal= {arXiv preprint arXiv:1511.07838},
year = {2016}
}
备注
ICML 2016