面向序列视觉任务的条件性注意力学习
计算机视觉与模式识别
2020-04-02 v1 机器学习
摘要
序列视觉任务通常需要根据先前的观测，将注意力集中于当前感兴趣的对象。与流行的软注意力机制不同，我们提出了一种新的注意力框架，引入一种新颖的条件全局特征，该特征表示当前聚焦对象的弱特征描述子。具体而言，对于标准的 CNN（卷积神经网络）流程，具有不同感受野的卷积层通过度量卷积特征与条件全局特征的对齐程度来生成注意力图。条件全局特征可由不同的循环结构根据不同类型的视觉任务生成，例如用于多目标识别的简单循环神经网络，或用于图像字幕的中等复杂度语言模型。实验表明，我们提出的条件注意力模型在带/不带额外边界框的 SVHN（街景门牌号）数据集上均取得了最佳性能；在图像字幕任务中，我们的注意力模型生成的分数优于流行的软注意力模型。
引用
@article{arxiv.1911.04365,
title = {Conditionally Learn to Pay Attention for Sequential Visual Task},
author = {Jun He and Quan-Jie Cao and Lei Zhang},
journal= {arXiv preprint arXiv:1911.04365},
year = {2020}
}