单阶段 Top-$k$ 学习-递延：基于得分的替代方案及其理论保证
机器学习
2025-10-14 v2 机器学习
摘要
我们提出首个单阶段 Top- 学习-递延 (Top- L2D) 框架，通过学习共享的基于得分的模型来选择每个输入最具成本效益的 个实体标签或专家。虽然现有的单阶段 L2D 方法仅限于 deferral 到单个专家，但我们的做法通过单一 end-to-end 目标在多个实体上联合优化预测与 deferral。我们定义了成本敏感损失并推导出一种 novel 的凸 surrogate，其独立于基数参数 ，从而在无需重新训练的情况下实现对 Top- 场景的 generalization。我们的表述可恢复先前基于得分的方法的 Top-1 deferral 策略为特例，并证明了我们的 surrogate 在温和假设下既是 Bayes-consistent 也是 -consistent。我们进一步引入自适应变体 Top-，动态选择每个输入 consultation 的实体数量，以平衡预测准确性和 consultation 成本。在 CIFAR-10 和 SVHN 上的实验表明，我们的单阶段 Top- 方法严格优于 Top-1 deferral，而 Top- 通过针对输入复杂度进行分配实现了优于准确性-成本 投入的 trade-off。
引用
@article{arxiv.2505.10160,
title = {One-Stage Top-$k$ Learning-to-Defer: Score-Based Surrogates with Theoretical Guarantees},
author = {Yannis Montreuil and Axel Carlier and Lai Xing Ng and Wei Tsang Ooi},
journal= {arXiv preprint arXiv:2505.10160},
year = {2025}
}
备注
Merged with another paper: 'Why Ask One When You Can Ask k? Learning-to-Defer to the Top-k Experts" (arXiv:2504.12988)