SemEval-2023 任务 11：基于分歧的学习（LeWiDi）
计算与语言
2023-05-01 v1
摘要
带有人类判断标注的 NLP 数据集充斥着标注者之间的分歧。对于依赖主观判断的任务（如情感分析或攻击性语言检测）而言尤其如此。特别是在后一类任务中，NLP 社区已认识到将不同主观解释“调和”的做法是不恰当的。许多 NLP 研究者因此得出结论：不应从标注语料中消除分歧，而应保留它们——事实上，有人认为语料库应力求保留所有标注者的判断。但这种用于 NLP 的语料库构建方法尚未被广泛接受。LeWiDi 系列共享任务的目标是通过提供统一的框架来训练和评估此类数据集，从而推广这种开发 NLP 模型的方法。我们报告了第二届 LeWiDi 共享任务，它与第一届在三个关键方面不同：(i) 完全聚焦 NLP，而非第一届同时涵盖 NLP 与计算机视觉任务；(ii) 聚焦主观任务，而非涵盖各类分歧——因为用聚合标签训练主观 NLP 任务尤其明显地歪曲了数据；(iii) 在评估中，我们集中于软评估方法。第二届 LeWiDi 吸引了广泛的参与者，产生了 13 篇共享任务提交论文。
引用
@article{arxiv.2304.14803,
title = {SemEval-2023 Task 11: Learning With Disagreements (LeWiDi)},
author = {Elisa Leonardelli and Alexandra Uma and Gavin Abercrombie and Dina Almanea and Valerio Basile and Tommaso Fornaciari and Barbara Plank and Verena Rieser and Massimo Poesio},
journal= {arXiv preprint arXiv:2304.14803},
year = {2023}
}