基于监督元学习的 ICL 高效演示选择：Meta-Sel
机器学习
2026-02-13 v1 人工智能
计算与语言
摘要
演示选择是 ICL 中的实际瓶颈：在紧张的提示预算下，准确率会因所选少量示例而产生显著差异，但选择过程必须足够轻便，以便在大型候选池上每次查询都运行。我们提出了 Meta-Sel，一种轻量级监督元学习方法，用于意图分类，学习针对（候选，查询）对的快速且可解释的评分函数，这些评分函数从标记训练数据中学习。Meta-Sel 通过抽取训练分割中的配对样本并使用类别一致性作为监督，构建元数据集，然后在两个低成本元特征上训练已校准的逻辑回归器：TF-IDF 余弦相似度和长度兼容性比率。在推理时间，选择器对完整候选池进行单次向量化评分并返回前 个演示，无需模型微调、无需在线探索、无需额外 LLM 调用。这实现了确定性排序，使选择机制通过可解释特征权重变得容易审计。除了提出 Meta-Sel，我们提供了演示选择的广泛实证研究，基准测试了 12 种方法——涵盖提示工程基线、启发式选择、强化学习和影响力方法——在四个意图数据集和五个开源 LLM 上。在该基准测试中，Meta-Sel 持续在前沿方法中名列前茅，尤其对较小的模型效果显著，因为选择质量可部分补偿模型容量有限的问题，同时保持具竞争力的选择时间开销。
引用
@article{arxiv.2602.12123,
title = {Meta-Sel: Efficient Demonstration Selection for In-Context Learning via Supervised Meta-Learning},
author = {Xubin Wang and Weijia Jia},
journal= {arXiv preprint arXiv:2602.12123},
year = {2026}
}