面向事件指代消解模型的易于实现与评估图书馆——EasyECR

事件指代消解（ECR）是将指及同一真实世界事件的事件提及聚类的任务。尽管取得了显著进展，但 ECR 研究面临两个主要挑战：由于狭窄数据集评估，跨域的通用性有限；以及在多样化的 ECR 流程中进行模型比较困难。为解决这些问题，我们开发了 EasyECR，这是第一个旨在标准化数据结构和抽象 ECR 流程以便于实现和公正评估的开源图书馆。具体而言，EasyECR 集成了七个具有代表性的管线和十个流行的基准数据集，使模型能够在各种数据集上进行评估，从而促进健壮 ECR 管线的开发。通过我们的 EasyECR 进行大规模评估，我们发现：1）具有代表性的 ECR 管线无法在多个数据集上实现通用性，因此在多个数据集上评估 ECR 管线是必要的；2）ECR 管线中的所有模型都会对管线性能产生巨大影响，因此，在比较 ECR 管线中的一个模型时，必须确保其他模型保持一致。此外，复现 ECR 结果并不容易，该图书馆有助于减少这种差异。实验结果为未来研究提供了有价值的基线。