为 softmax 参数化辩护：面向校准且一致的延迟学习

当下游专家更准确时，使机器学习分类器能够将其决策延迟给该专家，将确保安全性与性能的提升。这一目标可通过延迟学习（learning-to-defer）框架实现，该框架旨在联合学习如何分类以及如何向专家延迟决策。在近期研究中，理论上已表明采用 softmax 参数化的流行延迟学习估计器对延迟可能性的估计是无界的，从而导致其未校准。然而，尚不清楚这是否源于广泛使用的 softmax 参数化，以及我们能否找到一种既统计一致又具备有效概率估计器的基于 softmax 的估计器。本工作中，我们首先证明先前文献中未校准且无界估计器的成因在于所用替代损失的对称性，而非 softmax。随后我们提出一种新颖的、统计一致的非对称 softmax 基替代损失，其可产生有效估计而无需担忧无界性问题。我们进一步分析了方法的非渐近性质，并在基准数据集上实证验证了其性能与校准情况。