基于误信度的LLM上下文学习示例选择
计算与语言
2024-01-15 v1
摘要
基于大语言模型(LLM)的上下文学习在快速适应各种任务方面表现出色。然而，其成功依赖于精心选择示例，这在实践中仍然是一个障碍。当前解决该问题的方法要么依赖于难以获取的外部监督，要么需要与LLM频繁交互，导致成本高昂。我们提出了一种称为上下文反思(ICR)的新方法来克服这些挑战。ICR策略性地选择示例以减少LLM输出与实际输入-输出映射之间的差异。具体来说，ICR从一组随机初始示例开始，然后迭代地优化它。在每一步中，它分析一个候选示例池，并识别出最可能挑战LLM当前理解的示例，通过一种称为误信度的新度量来衡量。然后选择这些最令人困惑的示例来替换当前集合中信息量较少的示例。我们在涵盖13个子任务的五个不同数据集上的综合评估显示了ICR的有效性。与现有方法相比，ICR平均性能提升4%，同时表现出显著的跨任务泛化能力。
引用
@article{arxiv.2401.06301,
title = {Misconfidence-based Demonstration Selection for LLM In-Context Learning},
author = {Shangqing Xu and Chao Zhang},
journal= {arXiv preprint arXiv:2401.06301},
year = {2024}
}