RankMixup:基于排序的 Mixup 训练用于网络校准

网络校准旨在准确估计置信度水平,这对于在现实系统中使用深度神经网络尤为重要。近期方法利用 mixup 在训练期间校准网络预测。然而,它们未考虑 mixup 中标签混合可能不能准确表示增强样本实际分布的问题。本文提出 RankMixup,一种基于 mixup 的新框架,缓解标签混合带来的网络校准问题。为此,我们提议使用原始样本与 mixup 增强样本之间的序数排序关系,作为标签混合的替代监督信号用于网络校准。我们假设网络对原始样本应估计出比增强样本更高的置信度(图1)。为实现该想法,我们引入基于 mixup 的排序损失(MRL),鼓励增强样本相比原始样本具有更低置信度,以保持排序关系。我们还提议利用多个 mixup 增强样本间的排序关系进一步提升校准能力。混合系数更大的增强样本预期具有更高置信度,反之亦然(图1)。即置信度顺序应与混合系数顺序一致。为此,我们引入新损失 M-NDCG,以减少系数与置信度错配对的数量。在标准网络校准基准上的大量实验结果证明了 RankMixup 的有效性。