马尔可夫链的距离及其微分
机器学习
2024-02-20 v2
摘要
带节点属性的（有向）图是各类应用中一种常见数据类型，关于开发用于比较它们的度量与高效算法已有大量文献。近来，在图学习与优化领域，利用最优传输（OT）与 Weisfeiler-Lehman（WL）图同构检验等思想，已发展出一系列比较带节点属性图的新方法。两个具代表性的前沿方法是 (O'Connor et al., 2022) 提出的 OTC 距离与 (Chen et al., 2022) 中的 WL 距离。有趣的是，尽管这两种距离基于不同思想发展，我们观察到它们均将图视为马尔可夫链，且深度关联。事实上，本文提出一个生成马尔可夫链距离（从而涵盖带节点属性的（有向）图）的统一框架，称之为最优传输马尔可夫（OTM）距离，其同时包含 OTC 与 WL 距离。我们进一步在 OTM 框架内引入一个特殊的单参数距离族，称为折扣 WL 距离。我们证明折扣 WL 距离具有良好的理论性质，并能解决已有 OTC 与 WL 距离的若干局限。此外，与 OTC 和 WL 距离不同，我们新的折扣 WL 距离在类似 Sinkhorn 距离的熵正则化后可微分，使其适用于学习框架，例如作为图生成模型中的重构损失。
引用
@article{arxiv.2302.08621,
title = {Distances for Markov Chains, and Their Differentiation},
author = {Tristan Brugère and Zhengchao Wan and Yusu Wang},
journal= {arXiv preprint arXiv:2302.08621},
year = {2024}
}
备注
13 pages + 42 pages appendix