SemEval-2022 任务 7：识别指令文本中隐含与欠规范短语的合理澄清
计算与语言
2023-09-22 v1
摘要
我们描述了 SemEval-2022 任务 7，一个关于对指令文本中澄清的合理性进行评分的共享任务。该任务的数据集由人工澄清的操作指南组成，我们为其生成了替代澄清并收集了人工合理性判断。参与系统的任务是自动确定各自上下文中某一澄清的合理性。共有 21 名参与者参加了该任务，最佳系统达到了 68.9% 的准确率。本报告总结了来自 8 支团队及其系统描述的成果与发现。最后，我们在一额外评估中表明，由顶尖参与团队做出的预测能够以 75.2% 的准确率识别出具有多个合理澄清的上下文。
引用
@article{arxiv.2309.12102,
title = {SemEval-2022 Task 7: Identifying Plausible Clarifications of Implicit and Underspecified Phrases in Instructional Texts},
author = {Michael Roth and Talita Anthonio and Anna Sauer},
journal= {arXiv preprint arXiv:2309.12102},
year = {2023}
}
备注
SemEval-2022 best task description paper