MetaIE：从LLM中蒸馏元模型以用于各类信息抽取任务
计算与语言
2024-04-02 v1
摘要
信息抽取（IE）是自然语言处理中的一个基础领域，在该领域，即使提供上下文示例来提示大型语言模型（LLM），也无法击败在极小IE数据集上微调的小型LM。我们观察到，IE任务（如命名实体识别和关系抽取）都专注于抽取重要信息，这可以被形式化为标签到片段的匹配。在本文中，我们提出了一个新颖的框架MetaIE，通过学习抽取“重要信息”（即IE的元理解）来构建一个小型LM作为元模型，使得该元模型能够有效且高效地适应各种IE任务。具体而言，MetaIE遵循标签到片段的方案，通过从LLM中进行符号蒸馏来获得小型LM。我们通过从语言模型预训练数据集（例如我们实现中的OpenWebText）中采样句子并提示LLM识别“重要信息”的类型化片段来构建蒸馏数据集。我们在少样本自适应设置下评估了该元模型。在6个IE任务的13个数据集上的广泛结果证实，MetaIE能够为IE数据集上的少样本微调提供更好的起点，并优于来自以下途径的其他元模型：（1）普通语言模型预训练，（2）使用人工标注的多IE任务预训练，以及（3）从LLM进行的单IE任务符号蒸馏。此外，我们对MetaIE进行了全面分析，例如蒸馏数据集的规模、元模型架构以及元模型的规模。
引用
@article{arxiv.2404.00457,
title = {MetaIE: Distilling a Meta Model from LLM for All Kinds of Information Extraction Tasks},
author = {Letian Peng and Zilong Wang and Feng Yao and Zihan Wang and Jingbo Shang},
journal= {arXiv preprint arXiv:2404.00457},
year = {2024}
}