面向未见专家的无身份信息推迟
机器学习
2026-03-03 v3 人机交互
摘要
学习推迟（Learning to Defer, L2D）通过训练AI系统或自行作出预测或推迟至人类专家来提高决策关键环境中的AI可靠性。一个关键挑战是适应测试时遇到的未见专家，而这些专家的能力可能不同于训练人群。然而，当前针对此任务的方法在面对未见专家属于训练人群之外分布（out-of-distribution, OOD）时可能会失败。我们识别出其核心架构缺陷为根本原因：它们通过处理固定坐标中的类别索引信号来学习身份条件策略，制造了违反问题内在置换对称性的捷径。我们引入无身份信息推迟（Identity-Free Deferral, IFD），通过构造性地强制执行这种对称性。从少量样本上下文中，IFD为每个专家构建查询无关的贝叶斯能力轮廓。随后，推迟决策者仅获得包含结构信息的低维、角色索引状态，如模型对其排名第一类别的置信度以及专家对该相同角色的技能估计，从而隐去绝对类别身份。我们采用不确定性感知的、仅基于上下文的目标函数进行训练，无需在查询时获取昂贵的专家标签。我们形式化地证明了该方法的置换不变性，并与标准人口编码器的通用非不变性进行对比。在医学影像基准测试和 ImageNet-16H 上使用真实人类标注者的实验表明，IFD 在面对未见专家时能持续提升泛化能力，在 OOD 设置下获得提升，同时使用更少的标注量。
引用
@article{arxiv.2502.10533,
title = {Identity-Free Deferral For Unseen Experts},
author = {Joshua Strong and Pramit Saha and Yasin Ibrahim and Cheng Ouyang and Alison Noble},
journal= {arXiv preprint arXiv:2502.10533},
year = {2026}
}
备注
Fourteenth International Conference on Learning Representations (ICLR) 2026