IEST: WASSA-2018 隐式情感共享任务
计算与语言
2018-09-06 v2
摘要
过去的情感共享任务所使用的数据既包含情感的外显表达（例如“见到你真高兴！”），也包含需要从事件描述等中推断情感的微妙表达。此外，大多数数据集并不关注情感的成因或刺激物。在此，我们首次提出一个共享任务，要求系统在一个大规模自动标注的推文数据集中预测情感，且无法访问表示情感的词汇。基于这一意图，我们称之为隐式情感共享任务（IEST），因为系统必须主要从上下文中推断情感。每条推文都包含一个被掩码处理的显式情感词。推文的收集方式使其很可能包含情感成因（即刺激物）的描述。共有30支队伍提交了结果，其宏F1分数介于21%到71%之间。基线（最大熵词袋与二元词组）在开发阶段向参与者提供，取得了60%的F1分数。一项针对人类标注者的研究表明，自动方法优于人类预测，可能是通过捕捉人类未使用的细微文本线索。语料库、资源与结果可在共享任务网站 http://implicitemotions.wassa2018.com 获取。
引用
@article{arxiv.1809.01083,
title = {IEST: WASSA-2018 Implicit Emotions Shared Task},
author = {Roman Klinger and Orphée De Clercq and Saif M. Mohammad and Alexandra Balahur},
journal= {arXiv preprint arXiv:1809.01083},
year = {2018}
}
备注
Accepted at Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis