异构空间中概率测度的快速鲁棒比较
机器学习
2021-02-11 v3 机器学习
摘要
比较支撑于异构空间上的两个概率测度是机器学习中日益重要的问题。此类问题出现在例如比较两个生物细胞群体（各自用其自身的一组特征描述），或考察跨不同语料库/语言训练的词嵌入族时。对于此类设定，Gromov Wasserstein（GW）距离常被视为黄金标准。GW 直观，因为它量化了一个测度能否同构地映射到另一个测度。然而，其精确计算难以处理，且大多数声称近似它的算法仍然代价高昂。基于 \cite{memoli-2011}（其提出将每个分布中的每个点表示为它到所有其他点距离的 1D 分布），我们在本文中引入 Anchor Energy（AE）和 Anchor Wasserstein（AW）距离，它们分别是实例化于此类表示上的能量距离和 Wasserstein 距离。我们的主要贡献是提出一种扫描线算法，以对数二次时间精确计算 AE，而朴素实现将为三次时间。这相对于问题本身的描述是准线性的。我们的第二个贡献是提出 AE 和 AW 的鲁棒变体，其使用秩统计量而非原始距离。我们表明，AE 和 AW 在各种实验设定下表现良好，且计算代价仅为流行 GW 近似的一小部分。代码见 \url{https://github.com/joisino/anchor-energy}。
引用
@article{arxiv.2002.01615,
title = {Fast and Robust Comparison of Probability Measures in Heterogeneous Spaces},
author = {Ryoma Sato and Marco Cuturi and Makoto Yamada and Hisashi Kashima},
journal= {arXiv preprint arXiv:2002.01615},
year = {2021}
}