Counterfactual-based document-level relation extraction consistency
计算与语言
2024-10-16 v2
摘要
已开发出多个数据集用于训练和评估文档级关系抽取(RE)模型。大多数数据集基于真实世界数据构建。已表明，在真实世界数据上训练的RE模型存在事实偏见。为评估和解决此问题，本文提出了CovEReD方法，用于基于实体替换生成文档级关系抽取数据集的反事实数据。我们首先展示，在真实数据上训练的模型表现不一致：它们准确抽取真实数据的三元组，但在反事实修改后未能抽取相同的三元组。这种不一致性表明，在真实数据上训练的模型依赖于特定实体和外部知识——而非输入上下文——来抽取三元组。我们表明，通过CovEReD生成文档级反事实数据并在其上训练模型，可在保持RE性能的前提下维持一致性。我们发布了CovEReD管道以及Re-DocRED-CF数据集，以助力评估和消除文档级RE中的不一致性。
关键词
引用
@article{arxiv.2407.06699,
title = {Consistent Document-Level Relation Extraction via Counterfactuals},
author = {Ali Modarressi and Abdullatif Köksal and Hinrich Schütze},
journal= {arXiv preprint arXiv:2407.06699},
year = {2024}
}