Sinkhorn 近似用于 Wasserstein 距离学习的微分性质
机器学习
2019-06-04 v1 机器学习
摘要
得益于熵正则化的计算优势,最优传输的应用近来备受关注。然而在大多数情况下,Sinkhorn 对 Wasserstein 距离的近似被替换为精度较低但易于求导的正则化版本。本文刻画原始 Sinkhorn 距离的微分性质,证明其享有与其正则化版本相同的光滑性,并显式给出计算其梯度的高效算法。我们表明该结果有益于理论与应用:一方面,高阶光滑性为使用 Wasserstein 近似的学习提供了统计保证;另一方面,梯度公式使我们能在实践中高效求解学习与优化问题。有前景的初步实验补充了我们的分析。
引用
@article{arxiv.1805.11897,
title = {Differential Properties of Sinkhorn Approximation for Learning with Wasserstein Distance},
author = {Giulia Luise and Alessandro Rudi and Massimiliano Pontil and Carlo Ciliberto},
journal= {arXiv preprint arXiv:1805.11897},
year = {2019}
}
备注
26 pages, 4 figures