众包隐式篇章关系标注的设计选择：揭示任务设计引入的偏差

自然语言标注中的不一致性大多从标注者及标注框架所引入偏差的视角进行研究。本文提出分析另一偏差来源：任务设计偏差，该偏差对众包语言标注影响尤为显著，此类标注使用自然语言来引发非专业标注者的理解。为此，我们考察隐式篇章关系标注——该任务因关系模糊性而反复被证明确实困难。我们比较了使用两种不同标注任务获得的 1,200 个篇章关系的标注，并量化了两种方法在四个不同领域上的偏差。两种方法均为面向众包设计的自然语言标注任务。我们表明，任务设计可推动标注者偏向某些关系，且某些篇章关系义项可通过其中一种或另一种标注方法更好地引发。我们还得出结论：在模型训练与测试时，应考量此类偏差。