面向使用多样标注方案的跨文档共指消解模型评估
计算与语言
2022-11-23 v2
摘要
已有的跨文档共指消解（CDCR）数据集包含具有同一性关系的事件与实体的事件中心共指链。这些数据集对相关测试中的共指关系建立了严格定义，但通常忽略了具有更模糊的上下文依赖的松散共指关系的指代。本文中，我们定性并定量地比较了 ECB+（具有同一性共指关系的 CDCR 数据集）与 NewsWCL50（混合了松散上下文依赖与严格共指关系的 CDCR 数据集）的标注方案。我们提出了一种短语多样性度量（PD），与先前提出的度量不同，它考量完整短语的多样性，并能够以更高精度评估 CDCR 数据集的词汇多样性。分析表明，NewsWCL50 的共指链比 ECB+ 的词汇多样性更高，但 NewsWCL50 的标注导致较低标注者间一致性。我们讨论了两个 CDCR 数据集为 CDCR 模型带来的不同任务，即词汇消歧与词汇多样性。最后，为确保 CDCR 模型的泛化能力，我们提出了一种结合具有多种标注方案、关注共指链不同属性的 CDCR 数据集的 CDCR 评估方向。
引用
@article{arxiv.2109.05250,
title = {Towards Evaluation of Cross-document Coreference Resolution Models Using Datasets with Diverse Annotation Schemes},
author = {Anastasia Zhukova and Felix Hamborg and Bela Gipp},
journal= {arXiv preprint arXiv:2109.05250},
year = {2022}
}
备注
The paper was accepted at LREC 2022: https://aclanthology.org/2022.lrec-1.522/