UCS：用于改进情境学习中不可见覆盖量的估计方法
机器学习
2026-04-15 v1 计算与语言
摘要
情境学习（ICL）性能严重依赖所选 demonstration 的安排，但大多数现有选择方法仅关注相关性或多样性，且对 demonstration 集的覆盖情况洞察有限。我们提出了不可见覆盖选择（Unseen Coverage Selection, UKS）方法，这是一种训练-free 的子集级覆盖先验，其理念是：优良的 demonstration 集应暴露当前所选子集未揭示的潜在簇。UCS 通过 (1) 从模型一致的嵌入中诱导离散潜在簇，以及 (2) 通过 Smoothed Good--Turing 估计器从其经验频率谱中估计候选子集中未被揭示的簇的数量来实现上述目标。与之前方法不同，UCS 基于覆盖且无需训练，可无缝与查询依赖和查询独立的选择基线结合。实验在多个意图分类和推理基准上进行，使用前沿大语言模型（LLM）进行测试，结果表明，在相同的选择预算下，用 UCS 增强的强基线在 ICL 准确率提升最高可达 2-6%，同时还能洞察任务和模型层面的潜在簇分布。代码已公开于 https://github.com/Raina-Xin/UCS。
引用
@article{arxiv.2604.12015,
title = {UCS: Estimating Unseen Coverage for Improved In-Context Learning},
author = {Jiayi Xin and Xiang Li and Evan Qiang and Weiqing He and Tianqi Shang and Weijie J. Su and Qi Long},
journal= {arXiv preprint arXiv:2604.12015},
year = {2026}
}
备注
ACL 2026 Findings; 17 pages, 3 figures