自注意力神经词袋特征
计算机视觉与模式识别
2022-01-27 v1
摘要
在这项工作中，我们针对多元序列数据提出了若干注意力公式。我们基于最近提出的二维注意力（2D-Attention）构建，并通过基于自注意力的潜在空间量化特征/时间维度的相关性来重新表述注意力学习方法，而非直接学习它们。此外，我们提出了一种联合特征-时间注意力机制，该机制学习一个联合的二维注意力掩码以突出相关信息，而不将特征表示与时间表示独立处理。所提出的方法可用于多种架构中，我们具体评估了它们与神经词袋（Neural Bag of Features）特征提取模块结合的应用。在若干序列数据分析任务上的实验表明，与标准方法相比，我们的方法取得了更优的性能。
引用
@article{arxiv.2201.11092,
title = {Self-Attention Neural Bag-of-Features},
author = {Kateryna Chumachenko and Alexandros Iosifidis and Moncef Gabbouj},
journal= {arXiv preprint arXiv:2201.11092},
year = {2022}
}