自注意力:一种更优的情感分析神经网络分类器构建模块
计算与语言
2018-12-20 v1
摘要
情感分析在过去二十年中取得了很大进展。在过去几年里,神经网络方法,主要是 RNN 和 CNN,一直是该任务最成功的方法。最近,创建了一类新的神经网络,即自注意力网络(SANs),其利用注意力机制作为基本构建块。自注意力网络已被证明对序列建模任务有效,同时不具有循环或卷积。在这项工作中,我们探索了 SANs 在情感分析中的有效性。我们通过比较它们在六个数据集上的分类准确率以及它们的模型特征(如训练速度和内存消耗)与 RNN 和 CNN 对应物,证明 SANs 在性能上优于后者。最后,我们探索了各种 SAN 修改的影响,例如多头注意力以及将序列位置信息纳入 SANs 的两种方法。
引用
@article{arxiv.1812.07860,
title = {Self-Attention: A Better Building Block for Sentiment Analysis Neural Network Classifiers},
author = {Artaches Ambartsoumian and Fred Popowich},
journal= {arXiv preprint arXiv:1812.07860},
year = {2018}
}