将可靠性指标应用于指代注释

对约束话语现象（如指代）的语境和语言因素的研究日益依赖于已标注的语言语料库。在准备语料库时，重要的是评估注释的可靠性，但用于此目的的方法尚不成熟。本报告提出了一种用于计算指代注释可靠性的方法。首先我回顾了Marc Vilain及其合作者提出的将信息检索指标（召回率和精确率）应用于指代注释的方法。我展示了这一方法如何使能够为计算 Cohen's Kappa 系数而构建情境表。通过在同一数据集上比较召回率和精确率与可靠性，我也表明召回率和精确率可能会被误导性地得分很高。由于 Kappa 系数会剔除编码者之间偶然一致性，因此在尚无预期目标注释的语料库开发中，Kappa 是更可取的度量标准。