面向链连接与树连接空间的松弛推土机距离及其在深度学习中作为损失函数的应用
计算机视觉与模式识别
2016-11-24 v1
摘要
推土机距离（EMD）计算在给定已知传输度量下将一个分布转换为另一个分布的最优成本。在深度学习中，EMD损失允许我们在训练期间嵌入关于输出空间结构（如层次或语义关系）的信息。这有助于实现更好的输出平滑性和泛化能力。然而，EMD计算成本高昂。此外，求解EMD优化问题通常需要诸如套索之类的复杂技术。这些特性限制了基于EMD的方法在大规模机器学习中的应用。本文致力于解决将基于EMD的损失纳入深度学习框架所面临的困难。此外，我们提供了关于如何在训练深度神经网络时集成此类损失函数的见解和新颖解决方案。具体而言，我们做出了三项主要贡献：（i）对最快的先进EMD算法（Sinkhorn距离）进行了深入分析，并讨论了其在深度学习场景中的局限性；（ii）为具有链连接和树连接的输出空间中的EMD梯度推导了快速且数值稳定的闭式解；（iii）提出了一种松弛形式的EMD梯度，具有同等的计算复杂度但更快的收敛速度。我们通过在真实数据集上的实验来支持我们的主张。在ImageNet数据集上的受限数据设置中，我们使用5万张图像训练了一个模型来分类1000个类别，并证明我们的松弛EMD损失比交叉熵损失取得了更好的Top-1准确率。总体而言，我们表明，我们提出的松弛EMD损失准则是在小数据情况下深度学习的有力工具。
引用
@article{arxiv.1611.07573,
title = {Relaxed Earth Mover's Distances for Chain- and Tree-connected Spaces and their use as a Loss Function in Deep Learning},
author = {Manuel Martinez and Monica Haurilet and Ziad Al-Halah and Makarand Tapaswi and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:1611.07573},
year = {2016}
}