用于训练深度神经网络的平方推土机距离损失
计算机视觉与模式识别
2017-04-04 v4
摘要
在单标签分类背景下，尽管深度学习取得了巨大成功，常用的交叉熵损失函数忽略了现实任务（如年龄分类）中经常存在的复杂类间关系。本工作中，我们提出通过用精确的平方推土机距离（也称为 Wasserstein 距离）训练深度网络来利用这些类间关系进行单标签分类。平方 EMD 损失使用所有类的预测概率，并根据量化类间差异的底距离矩阵来惩罚错误预测。我们证明，在具有强类间关系（如类间有序）的数据集上，我们的精确平方 EMD 损失产生了新的最先进结果。此外，我们提出一种方法，在训练期间利用 CNN 自身的特征自动学习该矩阵。我们表明，我们的方法无需类间关系先验即可高效学习底距离矩阵，并产生相同的性能提升。最后，我们展示我们的方法可推广到缺乏强类间关系的应用，且仍保持最先进的性能。因此，以有限的计算开销，人们总能在任何数据集上部署所提出的损失函数以替代常规的交叉熵。
引用
@article{arxiv.1611.05916,
title = {Squared Earth Mover's Distance-based Loss for Training Deep Neural Networks},
author = {Le Hou and Chen-Ping Yu and Dimitris Samaras},
journal= {arXiv preprint arXiv:1611.05916},
year = {2017}
}