跨文档事件共指消解在多个语料库上的泛化研究

跨文档事件共指消解(CDCR)是一项NLP任务，需要在文档集合中识别事件提及并对其进行聚类。CDCR旨在惠及下游多文档应用，但尽管在语料库与系统开发上近期取得进展，应用CDCR带来的下游改进尚未得到证实。我们观察到，迄今为止每个CDCR系统均仅在单一相应语料库上开发、训练与测试。这引发了对它们泛化能力的强烈担忧——而泛化能力是下游应用必备的，因为下游应用中领域或事件提及的规模很可能超出精选语料库中所见。为探究该假设，我们定义了涉及三个CDCR语料库的统一评估设置：ECB+、枪击暴力语料库与足球共指语料库(我们对其在词元层面重新标注以使得分析可行)。我们将一个与语料库无关、基于特征的系统，与近期为ECB+开发的神经系统进行对比。尽管绝对数值上处于劣势，基于特征的系统在所有语料库上表现出更一致的性能，而神经系统则表现不稳定。通过模型内省，我们发现事件动作、事件时间等对于实践中消解共指的重要性在各语料库间差异巨大。补充分析显示若干系统对ECB+语料库结构过拟合。我们以未来如何实现普遍适用的CDCR系统的建议作结——最重要的是在多个CDCR语料库上进行评估极为必要。为促进未来研究，我们向公众发布数据集、标注指南与系统实现。