面向实体名称变体的文档级关系抽取模型鲁棒性研究

随着跨句子和大规模关系抽取需求的增长，文档级关系抽取（DocRE）吸引了越来越多的研究关注。尽管性能不断提升，但我们发现那些最初表现良好的现有 DocRE 模型在仅更改文档中实体名称的情况下会犯更多错误，从而阻碍其对新实体名称的泛化。为此，我们本文系统地研究了 DocRE 模型对实体名称变体的鲁棒性。我们首先提出了一个原则性管道，通过替换原始实体名称来生成实体重命名文档，其中实体名称来自 Wikidata。通过将该管道应用于 DocRED 和 Re-DocRED 数据集，我们构建了两个用于鲁棒性评估的新基准，称为 Env-DocRED 和 Env-Re-DocRED。实验结果表明，三个具有代表性的 DocRE 模型和两个在-context 学习的大型语言模型在实体名称变体方面始终缺乏足够的鲁棒性，尤其是在跨句关系实例和具有更多实体的文档上。最后，我们提出了一种实体变体鲁棒训练方法，该方法不仅提高了 DocRE 模型的鲁棒性，还增强了其理解和推理能力。我们进一步验证了该方法的基本思想也能有效应用于 DocRE 的 in-context 学习中。