当最优传输遇上均值中位数：Wasserstein 距离的稳健估计
机器学习
2022-02-21 v3 机器学习
摘要
源自最优传输的 Wasserstein 距离，因其 appealing 几何性质及高效近似算法的日益普及，在机器学习中的重要性不断提升。在本文中，我们考虑了当观测值受异常值污染时，估计两个概率分布之间 Wasserstein 距离的问题。为此，我们研究如何利用均值中位数估计量来稳健化 Wasserstein 距离的估计。利用 Wasserstein 距离的对偶 Kantorovitch 形式，我们引入并讨论了基于 MoM 的新型稳健估计量，在数据污染模型下研究了其一致性，并给出了其收敛速率。正如在 CIFAR10 和 Fashion MNIST 两个基准上的实证研究所证实的，这些 MoM 估计量使得 Wasserstein 生成对抗网络(WGAN)对异常值具有稳健性。最后，我们讨论了如何将 MoM 与 Wasserstein 距离的熵正则化近似相结合，并提出了一种简单的基于 MoM 的重加权方案，该方案可与 Sinkhorn 算法结合使用。
引用
@article{arxiv.2006.10325,
title = {When OT meets MoM: Robust estimation of Wasserstein Distance},
author = {Guillaume Staerman and Pierre Laforgue and Pavlo Mozharovskyi and Florence d'Alché-Buc},
journal= {arXiv preprint arXiv:2006.10325},
year = {2022}
}