一种用于鲁棒分类的可调损失函数：校准、优化地形与泛化

我们引入了一种称为 $\alpha$-loss 的可调损失函数，由 $\alpha \in (0,\infty]$ 参数化，在分类的机器学习设定下，它插值于指数损失（$\alpha = 1/2$）、对数损失（$\alpha = 1$）与 0-1 损失（$\alpha = \infty$）之间。在理论上，我们阐明了 $\alpha$-loss 与 Arimoto 条件熵之间的基本联系，验证了 $\alpha$-loss 的分类校准性以通过 Rademacher 复杂度泛化技术证明渐近最优性，并基于一种称为严格局部拟凸性的概念来定量刻画 $\alpha$-loss 的优化地形。在实践中，我们使用卷积神经网络在基准图像数据集上进行了类别不平衡、鲁棒性与分类实验。我们的主要实践结论是，某些任务可能受益于将 $\alpha$-loss 从对数损失（$\alpha = 1$）处调离，为此我们为实践者提供了简单的启发式方法。特别地，调节 $\alpha$ 超参数可轻易地提供对标签翻转的更优模型鲁棒性（$\alpha > 1$）以及对不平衡类别的敏感性（$\alpha < 1$）。