细节在边界：基于边界的标签平滑用于网络校准

尽管深度神经网络具有主导性表现，近期工作表明它们校准不良，导致过度自信的预测。由于训练期间交叉熵的最小化会促使预测的 softmax 概率匹配 one-hot 标签赋值，这种误校准会因过拟合而加剧。这导致正确类别的 pre-softmax 激活显著大于其余激活。文献中近期证据表明，嵌入隐式或显式最大化预测熵的损失函数可 yielding 最先进的校准表现。我们提供了对当前最先进校准损失的一个统一的约束优化视角。具体而言，这些损失可视为对 logit 距离施加等式约束的线性惩罚（或 Lagrangian）的近似。这指向此类底层等式约束的一个重要局限，其 ensuing 梯度不断推向非信息性解，可能在基于梯度的优化中阻碍模型在判别性能与校准间达到最佳折衷。遵循我们的观察，我们提出一种基于不等式约束的简单灵活泛化，其对 logit 距离施加可控边界。在多种图像分类、语义分割与 NLP 基准上的综合实验表明，我们的方法在这些任务上就网络校准设立了新的 SOTA 结果，且不影响判别性能。代码见 https://github.com/by-liu/MbLS 。