GistScore：利用 Gist 瓶颈学习更优的上下文示例选择表示
计算与语言
2024-02-23 v2
摘要
上下文学习（ICL）是大型语言模型（LLMs）在以包含少量任务示例的提示为条件时执行新任务的能力。然而，ICL 性能可能对示例的选择极为敏感。为针对每个测试输入动态选择最佳示例，我们提出 Example Gisting，一种通过带注意力瓶颈的监督微调来训练示例编码器的新颖方法，该瓶颈位于输入与输出之间。这些 gist 模型构成了 GistScore 的基础，GistScore 是一种用于对信息性示例进行评分和选择的新型度量。此外，我们实验了两种变体：（1）为每个数据集微调 gist 模型，以及（2）在大型数据集集合上多任务训练单一模型。后者可开箱即用于新任务，实现无训练的 ICL 流程。在涵盖 9 项任务和 8 种多样 LLMs 的 21 个数据集上的评估表明，我们的微调模型取得了最先进的 ICL 性能，相较现成检索器有超过 20% 的绝对增益，比先前最佳方法高 5%。此外，我们的多任务模型对新任务、数据集和提示模板泛化良好。使用该模型的选择匹配或优于先前方法，同时比最强的无训练基线快三个数量级。
引用
@article{arxiv.2311.09606,
title = {GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks},
author = {Shivanshu Gupta and Clemens Rosenbaum and Ethan R. Elenberg},
journal= {arXiv preprint arXiv:2311.09606},
year = {2024}
}