面向序列数据的基于注意力的神经词袋特征学习
机器学习
2020-05-26 v1 计算机视觉与模式识别
摘要
在本文中，我们提出 2D-Attention（2DA），一种面向序列数据的通用注意力公式，其作为补充计算块，可检测并聚焦于给定学习目标相关的信息源。所提出的注意力模块被嵌入近期提出的神经词袋（NBoF）模型中以增强其学习能力。由于 2DA 充当插件层，将其注入 NBoF 模型的不同计算阶段会产生不同的 2DA-NBoF 架构，每种架构具有独特解释。我们在金融预测、音频分析以及医学诊断问题上进行了大量实验，以将所提公式与现有方法（包括广泛使用的门控循环单元）进行基准比较。我们的实证分析表明，所提注意力公式不仅能提升 NBoF 模型的性能，还使其对噪声数据具有鲁棒性。
引用
@article{arxiv.2005.12250,
title = {Attention-based Neural Bag-of-Features Learning for Sequence Data},
author = {Dat Thanh Tran and Nikolaos Passalis and Anastasios Tefas and Moncef Gabbouj and Alexandros Iosifidis},
journal= {arXiv preprint arXiv:2005.12250},
year = {2020}
}