理解用于基于方面的情感分析的预训练BERT
计算与语言
2020-11-03 v1
摘要
本文分析了在评论数据上从BERT学到的预训练隐表示，用于基于方面的情感分析（ABSA）任务。我们的工作受到近期基于BERT的语言模型在ABSA上进展的启发。然而，尚不清楚在没有方面或观点标注的无标签语料上训练的（掩码）语言模型这一通用代理任务，如何为ABSA的下游任务提供重要特征。通过利用ABSA中的标注数据集，我们研究了在评论上预训练的BERT的注意力与所学表示。我们发现BERT仅使用极少的自注意力头去编码方面指示词（如介词或代词）和针对某方面的观点词。方面表示中的大多数特征致力于领域（或产品类别）的细粒度语义以及方面本身，而非携带来自其上下文的归纳性观点。我们希望该探究能帮助未来研究改进ABSA中的自监督学习、无监督学习与微调。预训练模型与代码可在 https://github.com/howardhsu/BERT-for-RRC-ABSA 找到。
引用
@article{arxiv.2011.00169,
title = {Understanding Pre-trained BERT for Aspect-based Sentiment Analysis},
author = {Hu Xu and Lei Shu and Philip S. Yu and Bing Liu},
journal= {arXiv preprint arXiv:2011.00169},
year = {2020}
}
备注
COLING 2020