为上下文学习寻找支撑示例
计算与语言
2023-10-10 v3
摘要
此外，上下文示例之间的强依赖性使其成为一个 NP 难的组合优化问题，枚举所有排列是不可行的。因此我们提出 LENS，一种先过滤后搜索（fiLter-thEN-Search）的方法，分两阶段应对该挑战：首先我们对数据集进行过滤，以单独获取信息丰富的上下文示例。具体而言，我们提出一种新指标 InfoScore，基于语言模型的反馈来评估示例的上下文信息量，并进一步提出渐进式过滤过程以滤除无信息示例。随后我们提出多样性引导的示例搜索，迭代地精炼并评估所选示例的排列，以寻找能完整刻画任务的示例。实验结果表明，LENS 显著优于大量基线方法。
引用
@article{arxiv.2302.13539,
title = {Finding Support Examples for In-Context Learning},
author = {Xiaonan Li and Xipeng Qiu},
journal= {arXiv preprint arXiv:2302.13539},
year = {2023}
}
备注
Accepted to the Findings of EMNLP 2023