基于覆盖度的上下文学习示例选择
计算与语言
2023-11-08 v3
摘要
上下文学习（ICL）是指大型语言模型通过以包含少量任务示例的提示为条件来执行新任务的能力，这要求这些示例能提供关于测试实例的有用信息。独立排序并选择最相似示例的标准方法会选出冗余示例而遗漏重要信息。在这项工作中，我们表明 BERTScore-Recall（BSR）能选出更好的示例，展示出测试输入更多显著方面（例如推理模式）。我们进一步将 BSR 和许多标准度量扩展为易于优化的集合级度量，从而对这些显著方面实现更佳的覆盖。在涵盖 6 项任务、包含 7 种不同 LLM 的 15 个数据集上，我们表明：（1）BSR 是跨领域上下文示例选择的更优度量；（2）对于组合型任务，使用 Set-BSR 的集合选择平均比独立排序高出多达 17 个点，并且尽管无需训练，仍超越了利用任务或 LLM 特定训练的方法。
引用
@article{arxiv.2305.14907,
title = {Coverage-based Example Selection for In-Context Learning},
author = {Shivanshu Gupta and Matt Gardner and Sameer Singh},
journal= {arXiv preprint arXiv:2305.14907},
year = {2023}
}
备注
Accepted to EMNLP 2023 (Findings) Changelog: Added acknowledgments