基于 Transformer 中自适应多头注意力的情感分析
计算与语言
2024-03-12 v4
摘要
我们提出了一种基于注意力机制的新颖框架，用于识别电影评论文档的情感。先前基于带注意力机制的深度神经网络的研究集中于具有固定数量多头注意力的编码器与解码器。因此，若无法从记忆中读取更多有用信息，我们需要一种机制来自动停止注意力过程。本文中，我们提出一种自适应多头注意力架构（AdaptAttn），其根据句子长度改变注意力头的数量。AdaptAttn 包含一个数据预处理步骤，其中每个文档根据句子长度被分类为小、中、大三个箱（bin）中的任意一类。分类为小的文档在每一层经过两个头，中等组通过四个头，大组由八个头处理。我们在 Stanford 大型电影评论数据集上检验了模型的性能。实验结果表明，我们模型的 F1 分数与基线模型相当。
关键词
引用
@article{arxiv.2310.14505,
title = {Sentiment analysis with adaptive multi-head attention in Transformer},
author = {Fanfei Meng and Chen-Ao Wang},
journal= {arXiv preprint arXiv:2310.14505},
year = {2024}
}
备注
Accepted by the 4th International Conference on Signal Processing and Machine Learning