指出关系抽取模型短板：语义动机对抗样本分析
计算与语言
2024-03-01 v1
摘要
近年来，大型语言模型在各类 NLP 任务上实现了最前沿性能。然而，调查发现这些模型倾向于依赖捷径特征，导致预测不准，使其在对抗分布(OOD)样本的泛化性变得不可靠。例如，在关系抽取(RE)任务中，我们期望模型能够独立于其涉及的实体来识别同一关系。例如，句子"Leonardo da Vinci painted the Mona Lisa"表达了 created(Leonardo_da_Vinci, Mona_Lisa) 关系。如果将"Leonardo da Vinci"替换为"Barack Obama"，该句子仍然表达 created 关系。一个鲁棒的模型应能够在两种情况下都检测到相同的关系。在本工作中，我们描述了若干语义动机生成对抗样本的策略，通过替换实体提及来进行研究，并调查了最前沿 RE 模型在此类对抗样本下的表现。我们的分析表明，这些模型在修改后的数据集上性能显著恶化（F1 分数平均下降 48.5%），这表明这些模型在很大程度上依赖于捷径，例如实体的表面形式（或其中所包含的模式），而未充分利用句子中存在的完整信息。
引用
@article{arxiv.2402.19076,
title = {Pointing out the Shortcomings of Relation Extraction Models with Semantically Motivated Adversarials},
author = {Gennaro Nolano and Moritz Blum and Basil Ell and Philipp Cimiano},
journal= {arXiv preprint arXiv:2402.19076},
year = {2024}
}