基于 Bregman 散度的鲁棒双温逻辑损失
机器学习
2019-09-24 v3 机器学习
摘要
我们在指数函数中引入温度，并用高温泛化替代神经网络的 softmax 输出层。类似地，我们用于训练的对数损失中的对数被低温对数替代。通过调节两个温度，我们创建了即使在单层情况下也已非凸的损失函数。当用我们对逻辑损失的双温泛化替代神经网络的最后一层时，训练对噪声变得更鲁棒。我们在简单设定中可视化调节两个温度的效果，并展示我们的方法在大型数据集上的效力。我们的方法基于 Bregman 散度，且优于使用 Tsallis 散度的相关双温方法。
引用
@article{arxiv.1906.03361,
title = {Robust Bi-Tempered Logistic Loss Based on Bregman Divergences},
author = {Ehsan Amid and Manfred K. Warmuth and Rohan Anil and Tomer Koren},
journal= {arXiv preprint arXiv:1906.03361},
year = {2019}
}