学习 defer 至多位专家:一致替代损失、置信度校准与保角集成
机器学习
2023-02-24 v2 机器学习
摘要
我们研究向多位专家学习 defer(L2D)的统计性质。具体而言,我们解决推导一致替代损失、置信度校准以及专家原则性集成的开放问题。首先,我们推导两种一致替代损失——一种基于 softmax 参数化,另一种基于 one-vs-all (OvA) 参数化——分别类似于 Mozannar 和 Sontag (2020) 与 Verma 和 Nalisnick (2022) 提出的单专家损失。随后我们研究这些框架估计 P( m_j = y | x )(即第 j 位专家对 x 正确预测标签的概率)的能力。理论表明,基于 softmax 的损失会导致估计值之间误校准的传播,而基于 OvA 的损失则不会(尽管实践中我们发现存在权衡)。最后,我们提出一种保角推断技术,在系统 defer 时选择待查询的专家子集。我们在星系、皮肤病变和仇恨言论分类任务上进行了实证验证。
引用
@article{arxiv.2210.16955,
title = {Learning to Defer to Multiple Experts: Consistent Surrogate Losses, Confidence Calibration, and Conformal Ensembles},
author = {Rajeev Verma and Daniel Barrejón and Eric Nalisnick},
journal= {arXiv preprint arXiv:2210.16955},
year = {2023}
}
备注
First two authors contributed equally. Accepted at the International Conference on Artificial Intelligence and Statistics (AISTATS), 2023