具有通过反馈连接实现内部选择性注意力的深度网络
计算机视觉与模式识别
2014-07-29 v2 机器学习
神经与进化计算
摘要
传统卷积神经网络 (CNN) 是静态且前馈的。它们在评估期间既不改变参数，也不利用从高层到低层的反馈。然而，真实的大脑会这样做。我们的深度注意选择网络 (dasNet) 架构也是如此。dasNet 的反馈结构可以在分类过程中动态改变其卷积滤波器的敏感度。它利用顺序处理的能力来提高分类性能，允许网络迭代地将其内部注意力集中在部分卷积滤波器上。反馈是通过在巨大的百万维参数空间中进行直接策略搜索来训练的，所采用的方法是可扩展自然进化策略 (SNES)。在 CIFAR-10 和 CIFAR-100 数据集上，dasNet 的表现优于之前的最先进 (state-of-the-art) 模型。
引用
@article{arxiv.1407.3068,
title = {Deep Networks with Internal Selective Attention through Feedback Connections},
author = {Marijn Stollenga and Jonathan Masci and Faustino Gomez and Juergen Schmidhuber},
journal= {arXiv preprint arXiv:1407.3068},
year = {2014}
}
备注
13 pages, 3 figures