用于定向基于方面的情感分析的上下文引导 BERT
计算与语言
2020-12-15 v2 人工智能
摘要
基于方面的情感分析（ABSA）与定向 ABSA（TABSA）可根据上下文从同一文本中得出更细粒度的情感推断。例如，给定文本可具有不同目标（如街区）与不同方面（如价格或安全），每个目标-方面对关联不同情感。本文研究向自注意力模型添加上下文是否能提升（T）ABSA 性能。我们提出两种上下文引导 BERT（CG-BERT）变体，学习在不同上下文下分配注意力。我们首先改编一个上下文感知 Transformer 产生使用上下文引导 softmax 注意力的 CG-BERT。接着，我们提出一种改进的准注意力 CG-BERT 模型，学习支持减性注意力的组合注意力。我们使用预训练 BERT 在两个（T）ABSA 数据集 SentiHood 与 SemEval-2014（任务 4）上训练两个模型。两个模型均取得新的最优结果，其中我们的 QACG-BERT 模型性能最佳。此外，我们分析了所提模型中上下文的影响。我们的工作进一步证明，向基于预训练自注意力的语言模型添加上下文依赖，对基于上下文的自然语言任务具有效用。
引用
@article{arxiv.2010.07523,
title = {Context-Guided BERT for Targeted Aspect-Based Sentiment Analysis},
author = {Zhengxuan Wu and Desmond C. Ong},
journal= {arXiv preprint arXiv:2010.07523},
year = {2020}
}