MarginSel：面向 LLMs 的最大间隔演示选取
机器学习
2025-06-10 v1 人工智能
计算与语言
摘要
大型语言模型（LLMs）通过基于上下文的学习（ICL）在零样本学习中表现出色，但其效果常常取决于演示示例的选择与排序。为此，我们提出了 MarginSel：一种面向 LLMs 的最大间隔演示选取方法，这是一种两步方法，通过为 ICL 提示选择硬性演示示例，以适应每个测试实例。我们的方法在分类任务中相较于随机选取示例，实现了 2-7% 的 F1 分数绝对提升。我们还提供了理论见解和实证证据，表明 MarginSel 通过有效增加硬性示例（类似支持向量）的间隔，引发 LLMs 具有最大间隔行为，从而以有利的方式移动决策边界。
引用
@article{arxiv.2506.06699,
title = {MarginSel : Max-Margin Demonstration Selection for LLMs},
author = {Rajeev Bhatt Ambati and James Lester and Shashank Srivastava and Snigdha Chaturvedi},
journal= {arXiv preprint arXiv:2506.06699},
year = {2025}
}