用于命名实体情感分析的半掩码模型
计算与语言
2023-08-31 v1 机器学习
摘要
命名实体情感分析（NESA）是自然语言处理（NLP）中最活跃发展的应用领域之一。社交媒体NESA是观点分析的重要领域，因为检测和追踪新闻流中的情感趋势对于构建各类分析系统以及监测特定个人或公司的媒体形象至关重要。本文在RuSentNE-23评测中研究了不同的基于transformer的NESA解决方案。尽管BERT类模型有效，它们仍可能受某些挑战的困扰，例如过拟合，这似乎是RuSentNE-23数据上取得高准确度的主要障碍。我们提出了几种克服该问题的方法，其中包括一种新颖技术：在最终预测前对给定数据以掩码实体进行额外一遍处理，从而可结合模型在知晓其所预测情感的精确实体时与不知晓时的logits。利用该技术，我们集成多个在不同数据子集上训练的BERT类模型以提升整体性能。我们提出的模型在RuSentNE-23评测数据上取得了最佳结果，并展现出在实体级情感分析中改进的一致性。
引用
@article{arxiv.2308.15793,
title = {HAlf-MAsked Model for Named Entity Sentiment analysis},
author = {Anton Kabaev and Pavel Podberezko and Andrey Kaznacheev and Sabina Abdullayeva},
journal= {arXiv preprint arXiv:2308.15793},
year = {2023}
}