去偏的 Sinkhorn 重心
机器学习
2020-06-05 v1 机器学习
摘要
最优传输 (OT) 中的熵正则化是近年来机器学习中 Wasserstein 度量和重心研究兴趣的驱动因素。它保留了无正则化 Wasserstein 距离的几何性质优势，同时借助 Sinkhorn 算法显著降低了复杂度。然而，熵带来了一些固有的平滑偏差，例如导致模糊的重心。这一副作用促使学界越来越倾向于采用较慢的算法，如对数域稳定的 Sinkhorn（其破坏了可在 GPU 上利用的并行结构），甚至回归到无正则化的 OT。本文展示了该偏差与定义熵正则化的参考测度紧密相关，并提出了去偏的 Wasserstein 重心，兼具两者优点：无需熵平滑的快速类 Sinkhorn 迭代。理论上，我们证明了一元高斯分布的熵 OT 重心仍为高斯分布，并量化了其方差偏差。该结果通过将熵 OT 的可微性与凸性推广至具有无界支撑的次高斯测度得到。在实验上，我们在多种应用中展示了减少的模糊效应与计算优势。
引用
@article{arxiv.2006.02575,
title = {Debiased Sinkhorn barycenters},
author = {Hicham Janati and Marco Cuturi and Alexandre Gramfort},
journal= {arXiv preprint arXiv:2006.02575},
year = {2020}
}
备注
ICML 2020