学习选择大语言模型偏好的上下文示例
机器学习
2025-05-27 v1 人工智能
摘要
上下文学习（ICL）使大语言模型（LLM）能够在推理期间仅使用少量示例就适应新任务。然而，ICL 的性能高度依赖于这些示例的选择。近期的工作探索了基于检索的方法来选择特定于查询的示例，但这些方法通常依赖于诸如度量学习等替代目标，未能直接优化 ICL 性能。因此，它们难以识别出真正有益的示例。此外，当候选池缺乏足够的高质量示例时，其判别式检索范式也是无效的。为了应对这些挑战，我们提出了 GenICL，一种新颖的生成式偏好学习框架，利用 LLM 反馈直接优化 ICL 的示例选择。在涵盖 11 个任务类别的 19 个数据集上的实验表明，GenICL 在选择最有效的示例方面取得了优于现有方法的性能，从而带来了更好的 ICL 性能。
引用
@article{arxiv.2505.19966,
title = {Learning to Select In-Context Demonstration Preferred by Large Language Model},
author = {Zheng Zhang and Shaocheng Lan and Lei Song and Jiang Bian and Yexin Li and Kan Ren},
journal= {arXiv preprint arXiv:2505.19966},
year = {2025}
}