DIANet：稠密隐式注意力网络
计算机视觉与模式识别
2019-09-24 v2 人工智能
机器学习
摘要
注意力网络已成功提升了多种视觉问题的性能。先前工作侧重于设计新的注意力模块并单独将其插入网络中。本文提出一种新颖而简洁的框架，其在不同网络层间共享一个注意力模块以促使层间信息的整合，该参数共享模块被称为稠密隐式注意力（Dense-and-Implicit-Attention，DIA）单元。DIA 单元可使用多种模块选择。由于长短期记忆（Long Short Term Memory，LSTM）具有捕捉长距离依赖的能力，我们聚焦于 DIA 单元为改进版 LSTM（记作 DIA-LSTM）的情形。在基准数据集上的实验表明，DIA-LSTM 单元能够强化层间特征关联，并带来图像分类准确率的显著提升。我们进一步通过移除整个残差网络中跳跃连接或批归一化（Batch Normalization）的实验，经验性地表明 DIA-LSTM 在稳定深度网络训练方面具有强正则化能力。代码发布于 https://github.com/gbup-group/DIANet。
引用
@article{arxiv.1905.10671,
title = {DIANet: Dense-and-Implicit Attention Network},
author = {Zhongzhan Huang and Senwei Liang and Mingfu Liang and Haizhao Yang},
journal= {arXiv preprint arXiv:1905.10671},
year = {2019}
}