预测-拒绝式多类弃权:理论分析与算法

我们研究多类分类设定下带弃权学习的关键框架。在该设定中,学习器可以以某种预定义代价选择放弃做出预测。我们在预测-拒绝(predictor-rejector)框架下为该学习问题提出了一系列新的理论与算法结果。我们引入了若干新的代理损失(surrogate loss)族,并证明了其强非渐近且与假设集相关的一致性保证,从而正面解决了两个现有的开放问题。这些保证在弃权损失函数的估计误差方面给出了基于代理损失估计误差的上界。我们分析了单阶段设定(预测器与拒绝器同时学习)以及应用中至关重要的两阶段设定(预测器在第一阶段使用如交叉熵等标准代理损失学习)。这些保证启示了基于最小化这些代理损失的新多类弃权算法。我们还报告了在 CIFAR-10、CIFAR-100 和 SVHN 数据集上将这些算法与当前最先进(state-of-the-art)算法进行比较的广泛实验结果。我们的结果从经验上证明了新代理损失的益处,并展示了我们具有广泛适用性的两阶段弃权算法的卓越性能。