大语言模型并非优秀的少样本信息抽取器，却是难样本的优秀重排序器！
计算与语言
2024-04-15 v2 人工智能
摘要
大语言模型（LLMs）在各种任务中取得了显著进展。然而，LLMs 是否能作为信息抽取（IE）任务的竞争性少样本求解器仍是一个开放问题。在本工作中，我们旨在对该问题给出详尽回答。通过在四个 IE 任务上九个数据集的广泛实验，我们表明在大多数设定下，相较于微调的小语言模型（SLMs），当前先进 LLMs 持续表现出更差的性能、更高的延迟以及更大的预算需求。因此，我们得出结论：LLMs 总体上并非有效的少样本信息抽取器。尽管如此，我们说明通过恰当的提示策略，LLMs 可有效补充 SLMs 并处理 SLMs 难以应对的挑战性样本。此外，我们提出一种自适应“过滤-重排序”范式以结合 LLMs 与 SLMs 的优势。在该范式中，SLMs 作为过滤器，LLMs 作为重排序器。通过提示 LLMs 对 SLMs 识别出的少量困难样本进行重排序，我们的初步系统在各类 IE 任务上一致取得可观提升（平均 2.4% 的 F1 增益），且时间与成本投入可接受。
引用
@article{arxiv.2303.08559,
title = {Large Language Model Is Not a Good Few-shot Information Extractor, but a Good Reranker for Hard Samples!},
author = {Yubo Ma and Yixin Cao and YongChing Hong and Aixin Sun},
journal= {arXiv preprint arXiv:2303.08559},
year = {2024}
}
备注
Accepted by EMNLP 2023 Findings