面向物理与抽象合理性及人类不一致来源的人类数据集
计算与语言
2024-04-08 v1
摘要
我们提出了一个用于评估英文事件物理合理性和抽象合理性的新型数据集。基于从Wikipedia中提取的自然句子，我们对事件的抽象程度进行标记，并自动生成扰动后的伪不合理事件。我们对过滤和平衡的子集进行众包标注，以确保标注质量，并进行大规模清洗。深入的定量分析表明，标注者倾向于支持合理事件而反对不合理事件，并且在不合理事件上更为一致。此外，我们的数据集是首次捕捉到事件抽象程度与具体程度相当的程度，并且我们发现事件的抽象程度对合理性评分有影响：更具体的事件参与者会触发对不合理性的感知。
引用
@article{arxiv.2404.04035,
title = {A Dataset for Physical and Abstract Plausibility and Sources of Human Disagreement},
author = {Annerose Eichel and Sabine Schulte im Walde},
journal= {arXiv preprint arXiv:2404.04035},
year = {2024}
}
备注
Accepted at The 17th Linguistic Annotation Workshop