RuSentNE-2023：俄语新闻文本上面向实体的情感分析评测
计算与语言
2023-05-30 v1
摘要
本文描述了 RuSentNE-2023 评测，其致力于俄语新闻文本中的目标情感分析。任务是在单句中预测对命名实体的情感。RuSentNE-2023 评测的数据集基于具有丰富情感相关标注的俄语新闻语料 RuSentNE。该语料标注了命名实体及针对这些实体的情感，以及相关效应与情绪状态。评测使用 CodaLab 竞赛框架组织。主要评测指标为正面与负面类的宏平均指标。取得的最佳结果为 66% 的宏 F 值（正面+负面类）。我们还在本评测的测试集上测试了 ChatGPT，发现 ChatGPT 提供的零样本答案达到了 60% 的 F 值，相当于评测中第 4 名的成绩。ChatGPT 还对其结论提供了详细解释。对于零样本应用而言，这可视为相当高。
引用
@article{arxiv.2305.17679,
title = {RuSentNE-2023: Evaluating Entity-Oriented Sentiment Analysis on Russian News Texts},
author = {Anton Golubev and Nicolay Rusnachenko and Natalia Loukachevitch},
journal= {arXiv preprint arXiv:2305.17679},
year = {2023}
}
备注
12 pages, 5 tables, 3 figures