面向鲁棒的通用信息提取：基准、评估与解决方案
计算与语言
2025-03-06 v1 人工智能
摘要
本文旨在通过引入新的基准数据集、全面的评估和可行的解决方案来增强通用信息提取（UIE）的鲁棒性。现有鲁棒基准数据集有两个关键局限：（1）仅为单一信息提取（IE）任务生成有限范围的扰动，无法有效评估UIE模型的鲁棒性；（2）依赖小模型或手工规则生成扰动，常导致不自然的对抗样本。鉴于大语言模型（LLM）的强大生成能力，我们引入了一个新的鲁棒UIE基准数据集RUIE-Bench，利用LLM生成跨不同IE任务的更多样化和更真实的对抗样本。基于该数据集，我们全面评估了现有UIE模型，揭示LLM-based模型和其他模型均出现显著性能下降。为提高鲁棒性并降低训练成本，我们提出一种数据增强方案，根据模型的推理损失动态选择困难样本进行迭代训练。实验结果表明，仅使用15%的数据训练即可在三个IE任务上平均获得7.5%的相对性能提升。
引用
@article{arxiv.2503.03201,
title = {Towards Robust Universal Information Extraction: Benchmark, Evaluation, and Solution},
author = {Jizhao Zhu and Akang Shi and Zixuan Li and Long Bai and Xiaolong Jin and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:2503.03201},
year = {2025}
}