中文

MMD比较了多少个矩?

机器学习 2021-06-29 v1 机器学习

摘要

我们提出了一种研究Mercer核的新方法,通过对应于一个特殊核KK一个伪微分算子p(x,D)p({\mathbf x}, D),使得Fp(x,D)p(x,D)F1\mathcal{F} p({\mathbf x}, D)^\dag p({\mathbf x}, D) \mathcal{F}^{-1}作用于光滑函数的方式与和KK相关的积分算子相同(其中F\mathcal{F}是傅里叶变换)。我们证明由伪微分算子定义的核能够在紧集上一致逼近任意连续Mercer核。符号p(x,y)p({\mathbf x}, {\mathbf y})封装了关于由核KK定义的最大均值差异(MMD)距离结构的许多有用信息。我们用pp的奇异值分解前rr项之和来逼近p(x,y)p({\mathbf x}, {\mathbf y}),记为pr(x,y)p_r({\mathbf x}, {\mathbf y})。如果与p(x,y)p({\mathbf x}, {\mathbf y})相关的积分算子的有序奇异值迅速衰减,则由新符号prp_r定义的MMD距离与初始距离仅略有不同。此外,新的MMD距离可解释为比较两个概率分布的rr个局部矩的聚合结果。后一结果在pp相关积分算子的右奇异向量一致有界的条件下成立。但即使不满足该条件,我们仍可得ppprp_r之间的Hilbert-Schmidt距离消失。因此,我们报告了一个有趣现象:MMD距离以一定数量的局部矩rr^\ast度量两个概率分布的差,且该数rr^\ast取决于pp的奇异值衰减速度。

关键词

引用

@article{arxiv.2106.14277,
  title  = {How many moments does MMD compare?},
  author = {Rustem Takhanov},
  journal= {arXiv preprint arXiv:2106.14277},
  year   = {2021}
}