用 Sinkhorn 散度在最优传输与 MMD 之间插值
统计理论
2018-10-22 v1 统计理论
摘要
比较概率分布是数据科学中的基本问题。总变差与相对熵这类简单的范数与散度仅以点方式比较密度，未能刻画问题的几何本质。截然相反，最大均值差异（MMD）与最优传输距离（OT）是两类考虑底层空间几何并度量依分布收敛的测度间距离。本文研究 Sinkhorn 散度，这是一类在 MMD 与 OT 之间插值的几何散度。借助几何熵的新概念，我们给出这些散度的理论保证：正定性、凸性以及依分布收敛的度量性。在应用层面，我们详述一种数值格式，使得这些散度能大规模应用于机器学习：在 GPU 上，Sinkhorn 损失的梯度可对百万样本的批量进行计算。
引用
@article{arxiv.1810.08278,
title = {Interpolating between Optimal Transport and MMD using Sinkhorn Divergences},
author = {Jean Feydy and Thibault Séjourné and François-Xavier Vialard and Shun-ichi Amari and Alain Trouvé and Gabriel Peyré},
journal= {arXiv preprint arXiv:1810.08278},
year = {2018}
}
备注
15 pages, 5 figures