中文

马尔可夫切片Wasserstein距离:超越独立投影

机器学习 2024-01-02 v3 机器学习

摘要

切片Wasserstein(SW)距离由于独立的均匀随机投影方向而存在冗余投影问题。为部分克服该问题,最大K切片Wasserstein(Max-K-SW)距离(K1K\geq 1)寻求最具判别力的正交投影方向。尽管能够减少投影数量,但由于优化的非最优性,Max-K-SW的度量性在实践中无法保证。此外,正交约束计算代价高昂且可能并不有效。为解决该问题,我们引入一类新的SW距离,称为马尔可夫切片Wasserstein(MSW)距离,其对投影方向施加一阶马尔可夫结构。我们通过指定马尔可夫结构(包括先验分布、转移分布以及老化与稀释技术)讨论了MSW的多种成员。此外,我们研究了MSW的理论性质,包括拓扑性质(度量性、弱收敛及与其他距离的联系)、统计性质(样本复杂度与蒙特卡洛估计误差)和计算性质(计算复杂度与内存复杂度)。最后,我们在梯度流、颜色迁移和深度生成建模等多种应用中将MSW距离与以往的SW变体进行比较,以展示MSW的优越性能。

关键词

引用

@article{arxiv.2301.03749,
  title  = {Markovian Sliced Wasserstein Distances: Beyond Independent Projections},
  author = {Khai Nguyen and Tongzheng Ren and Nhat Ho},
  journal= {arXiv preprint arXiv:2301.03749},
  year   = {2024}
}

备注

Accepted to NeurIPS 2023, 29 pages, 8 figures, 5 tables