判断比寻找更容易：预测上下文学习成功以进行示例选择

上下文学习（ICL）对提示中出现的示例高度敏感，但由于可能的示例上下文和组合空间巨大，选择示例的成本很高。我们认为示例选择“判断比寻找更容易”：预测特定的查询-上下文对 $(q,D)$ 是否会成功，比搜索最优的 $D^\star$ 成本更低且更具通用性。基于这一洞察，我们提出了DiSP，一个按难度对查询进行分层的采样-判断框架。DiSP运行随机示例试验以估计每个训练查询的成功率，训练轻量级路由器根据查询预测难度，并为采样的示例训练特定层级的判断器。在推理时，DiSP在显式预算下执行“接受即停止”判断，在未找到合适上下文时输出诊断风险标签。在使用Llama 3-8B和Qwen 2.5-7B的五个分类数据集上，DiSP实现了最佳的平均准确率，比强大的学习式选择基线提高了高达3.4%，同时实现了高达 $23\times$ 的端到端实际运行时加速。