QuantProb：为预训练分类器同步泛化概率与预测

预测中不确定性的量化是一个具有挑战性的问题。在分类设定下，尽管基于深度学习的模型泛化良好，但类别概率常缺乏可靠性。校准误差被用于量化不确定性，且存在多种最小化校准误差的方法。我们认为，在原始分布上校准误差最小但随失真增大而升高，与（可能略高的）校准误差在失真下保持恒定这两种选择之间，我们偏好后者。我们假设深度网络不可靠的原因在于：当前神经网络的训练方式使得概率无法跨小失真泛化。我们观察到基于分位数的方法有望解决该问题。我们提出一种创新方法，将分位数表示的构建与损失函数解耦，从而在不扰动原始网络的情况下计算基于分位数的概率。我们通过建立分位数与概率之间的新对偶性质，以及从任意预训练分类器获取分位数概率的能力来实现这一点。尽管事后校准技术成功最小化校准误差，它们不能保持对失真的鲁棒性。我们表明，从分位数表示获得的量化概率（QuantProb）在失真下保持校准误差，因为分位数概率比朴素 Softmax 概率泛化更好。