面向话语关系标注的众包任务设计

解释隐式话语关系涉及复杂推理，需要将语义线索与背景知识整合，因为像because或then这样的显式连接词不存在。这些关系通常允许多种解释，最好表示为分布。在本研究中，我们比较了两种通过连接词插入来众包英语隐式话语关系标注的既定方法：自由选择方法，允许标注者选择任何合适的连接词；以及强制选择方法，要求他们从一组预定义选项中选择。具体来说，我们使用强制选择方法重新标注了整个DiscoGeM 1.0语料库——最初使用自由选择方法标注。自由选择方法允许灵活直观地插入各种上下文相关的连接词。然而，对超过130,000个标注的比较表明，自由选择策略产生的标注多样性较低，通常收敛于常见标签。对结果的分析揭示了任务设计与标注者解释和产生话语关系能力之间的相互作用。