反思后学习:基于内省混淆的主动提示信息抽取
计算与语言
2026-05-13 v2 人工智能
信息检索
机器学习
摘要
大语言模型(LLM)在少样本信息抽取(IE)方面展现出惊人的潜力,但其性能对所选的情境示例高度敏感。常规选择策略往往无法提供有益的指导,因为忽视了模型错误的一个关键来源:源于语义内容以及满足IE任务所需格式的正确生成,导致的混淆。为此,我们引入了一种新的主动提示框架,称为基于内省混淆的主动信息抽取(APIE),其核心原理为内省混淆。我们的方法使LLM通过一个双组成分不确定性度量来评估自身的混淆情况,该度量独特地量化了格式不确定性(难以生成正确语法)和内容不确定性(抽取语义不一致性)。通过对未标记数据进行全面评分,我们的框架主动选择最具挑战性和信息性的样本作为少样本示例。广泛的实验表明,我们的方法在四个基准数据集上 consistently 优于强大的基线方法,在抽取准确率和鲁棒性方面实现了显著提升。我们的工作凸显了在构建有效可靠的结构化生成系统时,对模型不确定性进行细粒度、双层次视图的重要性。
引用
@article{arxiv.2508.10036,
title = {Reflect then Learn: Active Prompting for Information Extraction Guided by Introspective Confusion},
author = {Dong Zhao and Yadong Wang and Xiang Chen and Chenxi Wang and Hongliang Dai and Chuanxing Geng and Shengzhong Zhang and Shaoyuan Li and Sheng-Jun Huang},
journal= {arXiv preprint arXiv:2508.10036},
year = {2026}
}
备注
Published at AAAI 2026