在众包框架消歧中捕捉歧义性
计算与语言
2018-08-21 v1
摘要
FrameNet 是一个由语义框架组成的计算语言学资源，语义框架是表示词语含义的高层概念。在本文中，我们提出一种方法，利用每句多个工人的众包方法来收集句子中框架消歧标注，以捕捉标注者间的不一致。我们在一组 433 个标注了来自 FrameNet 语料库框架的句子上进行了实验，并表明与专家语言学家相比，聚合的众包标注达到了大于 0.67 的 F1 分数。我们强调了众包标注正确而专家存在分歧的情况，论证了每句需要多个标注者的必要性。最重要的是，我们考察了众包工人无法达成一致的情况，并证明这些案例表现出歧义性，无论是在句子、框架还是任务本身中，并论证将此类案例折叠为单一的离散真值（即正确或错误）是不恰当的，会为机器学习制造任意目标。
引用
@article{arxiv.1805.00270,
title = {Capturing Ambiguity in Crowdsourcing Frame Disambiguation},
author = {Anca Dumitrache and Lora Aroyo and Chris Welty},
journal= {arXiv preprint arXiv:1805.00270},
year = {2018}
}
备注
in publication at the sixth AAAI Conference on Human Computation and Crowdsourcing (HCOMP) 2018