关系抽取在实体替换下有多脆弱？
计算与语言
2024-05-08 v3 人工智能
摘要
关系抽取（RE）旨在从文本上下文中抽取实体名之间的关系。原则上，文本上下文决定真实关系，RE 模型应能够正确识别文本上下文所反映的关系。然而，已有工作发现 RE 模型记忆实体名模式以进行 RE 预测，而忽略文本上下文。这促使我们提出疑问：“RE 模型对实体替换是否鲁棒？” 本工作中，我们在 TACRED 的 RE 实例上执行随机和类型约束的实体替换，并在实体替换下评估最先进的 RE 模型。我们观察到最先进 RE 模型在实体替换下 F1 分数下降 30\% - 50\%。这些结果表明，我们需要更多努力来开发对实体替换鲁棒的有效 RE 模型。我们在 https://github.com/wangywUST/RobustRE 发布了源代码。
引用
@article{arxiv.2305.13551,
title = {How Fragile is Relation Extraction under Entity Replacements?},
author = {Yiwei Wang and Bryan Hooi and Fei Wang and Yujun Cai and Yuxuan Liang and Wenxuan Zhou and Jing Tang and Manjuan Duan and Muhao Chen},
journal= {arXiv preprint arXiv:2305.13551},
year = {2024}
}