SafePassage：基于黑箱大语言模型的高保真信息抽取
计算与语言
2025-10-02 v1 机器学习
摘要
黑箱型大语言模型（LLM）虽然便于配置信息抽取（IE），但难以可信。不同于传统信息抽取管道，抽取的信息并不保证来源于文档。为防止此问题，本文提出“安全通道”（safe passage）的概念：由 LLM 生成的上下文，既基于文档，也与抽取信息一致。通过三个步骤实现：（1）基于文档生成结构化实体及其上下文的 LLM 抽取器；（2）基于字符串的全局对齐器；（3）评分模型。结果表明，这三部分联合使用可在信息抽取任务中将幻觉减少最高 85%，且对非幻觉内容误判风险极低。SafePassage 管道与人类对抽取质量判断高度一致，表明该管道可双重用于评估 LLM。意外结果显示，使用在少量任务特定样本上微调的变换器编码器在标记不安全通道方面，甚至能超过 LLM 评分模型。这些标注仅需 1-2 小时即可收集。
引用
@article{arxiv.2510.00276,
title = {SafePassage: High-Fidelity Information Extraction with Black Box LLMs},
author = {Joe Barrow and Raj Patel and Misha Kharkovski and Ben Davies and Ryan Schmitt},
journal= {arXiv preprint arXiv:2510.00276},
year = {2025}
}