面向方面级情感分析的自渐进自监督注意力学习
计算与语言
2019-06-07 v3
摘要
在方面级情感分类(ASC)中，为主流神经模型配备注意力机制以获知各上下文词对给定方面的重要性是普遍做法。然而，这种机制往往过度关注少数带有情感极性的高频词，而忽略低频词。本文提出一种用于神经 ASC 模型的渐进自监督注意力学习方法，其从训练语料中自动挖掘有用的注意力监督信息以精炼注意力机制。具体而言，我们对所有训练实例迭代地进行情感预测。特别是在每次迭代中，提取具有最大注意力权重的上下文词作为对每实例正确/错误预测具有活跃/误导影响的词，随后将该词本身在后续迭代中掩蔽。最后，我们用一个正则项扩充常规训练目标，使 ASC 模型持续同等关注所提取的活跃上下文词，同时降低那些误导词的权重。在多个数据集上的实验结果表明，我们提出的方法产生了更优的注意力机制，相较两个最先进的(state-of-the-art, SOTA)神经 ASC 模型取得实质性提升。源代码与训练好的模型可在 https://github.com/DeepLearnXMU/PSSAttention 获取。
引用
@article{arxiv.1906.01213,
title = {Progressive Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis},
author = {Jialong Tang and Ziyao Lu and Jinsong Su and Yubin Ge and Linfeng Song and Le Sun and Jiebo Luo},
journal= {arXiv preprint arXiv:1906.01213},
year = {2019}
}
备注
10 pages