多样性在大语言模型上下文学习中的作用
计算与语言
2025-06-06 v2 人工智能
机器学习
摘要
上下文学习（In-Context Learning, ICL）是当前大语言模型（LLM）的一项关键能力，其中示例的选择对性能起着决定性作用。尽管现有大多数方法侧重于选择与查询最相似的示例，但示例选择中多样性的影响仍有待深入探索。我们通过在一系列任务（从情感分类到更具挑战性的数学与代码问题）上的实验，系统地研究了上下文示例选择中多样性的作用。在 Llama-3.1、Gemma-2 和 Mistral-v0.3 系列模型上的实验表明，感知多样性的选择方法能提升性能，尤其在数学和代码等复杂任务上表现显著，并增强了对分布外查询的鲁棒性。为支撑这些发现，我们引入了一个理论框架，解释了在上下文示例选择中引入多样性的益处。
引用
@article{arxiv.2505.19426,
title = {The Role of Diversity in In-Context Learning for Large Language Models},
author = {Wenyang Xiao and Haoyu Zhao and Lingxiao Huang},
journal= {arXiv preprint arXiv:2505.19426},
year = {2025}
}
备注
30 pages