SemEval-2020 任务 4：常识验证与解释
计算与语言
2020-08-04 v2 人工智能
摘要
本文介绍 SemEval-2020 任务 4：常识验证与解释（ComVE），其包含三个子任务，旨在评估一个系统能否从不符合人类常识的自然语言陈述中区分出符合人类常识的陈述，并给出原因。具体而言，在第一个子任务中，参与系统需从措辞相近的两条自然语言陈述中选出合理与不合理的一条。第二个子任务进一步要求系统从三个选项中选出给定陈述不合理的关键原因。在第三个子任务中，参与系统需要生成该原因。我们最终吸引了 39 支队伍参与了至少一个子任务。对于子任务 A 和 B，排名靠前系统的表现接近人类水平。然而对于子任务 C，系统与人类表现之间仍存在较大差距。我们任务所用数据集见 https://github.com/wangcunxiang/SemEval2020-Task4-Commonsense-Validation-and-Explanation；排行榜见 https://competitions.codalab.org/competitions/21080#results。
引用
@article{arxiv.2007.00236,
title = {SemEval-2020 Task 4: Commonsense Validation and Explanation},
author = {Cunxiang Wang and Shuailong Liang and Yili Jin and Yilong Wang and Xiaodan Zhu and Yue Zhang},
journal= {arXiv preprint arXiv:2007.00236},
year = {2020}
}
备注
Task description paper of SemEval-2020 Task 4: Commonsense Validation and Explanation