BERT 理解情感吗？利用上下文与非上下文嵌入的比较改进基于方面的情感模型
计算与语言
2020-11-25 v1
摘要
在对句子中不同词进行极性检测时，我们需要查看周围的词以理解情感。像 BERT 这样的大规模预训练语言模型不仅能够编码文档中的词，还能同时编码词周围的上下文。这引出了一些问题：“预训练语言模型是否也自动编码了关于每个词的情感信息？”以及“它能否用于推断针对不同方面的极性？”。在本工作中，我们试图通过表明训练 BERT 的上下文嵌入与通用词嵌入之间的比较可用于推断情感来回答该问题。我们还表明，如果我们微调基于 BERT 与通用词嵌入比较所构建模型的一个权重子集，它可以在基于方面的情感分类数据集上取得极性检测的 state of the art（最优）结果。
引用
@article{arxiv.2011.11673,
title = {Does BERT Understand Sentiment? Leveraging Comparisons Between Contextual and Non-Contextual Embeddings to Improve Aspect-Based Sentiment Models},
author = {Natesh Reddy and Pranaydeep Singh and Muktabh Mayank Srivastava},
journal= {arXiv preprint arXiv:2011.11673},
year = {2020}
}