更加关注注意力：通过注意力迁移提升卷积神经网络的性能
计算机视觉与模式识别
2017-02-14 v3
摘要
注意力在人类视觉体验中起着关键作用。此外，最近已证明，在将人工神经网络应用于计算机视觉和 NLP 等领域各种任务的背景下，注意力也能发挥重要作用。在这项工作中，我们表明，通过为卷积神经网络恰当地定义注意力，我们实际上可以利用这类信息，通过强制一个学生 CNN 网络模仿一个强大教师网络的注意力图，来显著提升该学生网络的性能。为此，我们提出了几种新颖的注意力迁移方法，在多种数据集和卷积神经网络架构上均展示了一致的改进。我们实验的代码和模型可在 https://github.com/szagoruyko/attention-transfer 获取。
引用
@article{arxiv.1612.03928,
title = {Paying More Attention to Attention: Improving the Performance of Convolutional Neural Networks via Attention Transfer},
author = {Sergey Zagoruyko and Nikos Komodakis},
journal= {arXiv preprint arXiv:1612.03928},
year = {2017}
}