基于一对多分类器的校准化学习 defer 机制
机器学习
2022-06-22 v2 机器学习
摘要
学习 defer（L2D）框架有潜力使 AI 系统更安全。对于给定输入，若人类比模型更可能采取正确行动，系统可将决策 defer 给人类。我们研究 L2D 系统的校准，考察其输出的概率是否可靠。我们发现 Mozannar & Sontag（2020）的多类框架就专家正确性而言未校准。此外，由于其参数化在此目的下是退化的，它甚至不能保证产生有效概率。我们提出一种基于一对多分类器的 L2D 系统，能够产生关于专家正确性的校准概率。此外，如同 Mozannar & Sontag（2020），我们的损失函数也是多类 L2D 的一致代理。我们的实验验证，我们的系统不仅得到校准，且该收益不以准确性为代价。在从仇恨言论检测到星系分类再到皮肤病变诊断的任务中，我们模型的准确性始终与 Mozannar & Sontag（2020）模型相当（且常更优）。
引用
@article{arxiv.2202.03673,
title = {Calibrated Learning to Defer with One-vs-All Classifiers},
author = {Rajeev Verma and Eric Nalisnick},
journal= {arXiv preprint arXiv:2202.03673},
year = {2022}
}
备注
Accepted at the International Conference on Machine Learning (ICML), 2022