最大均值差异的闭式表达式及其在Wasserstein自编码器中的应用
机器学习
2020-06-03 v2 机器学习
统计方法学
摘要
最大均值差异（MMD）在统计学和机器学习中已有众多应用，最近被用作Wasserstein自编码器（WAE）中的惩罚项。本文计算了基于高斯核的MMD在给定分布与标准多元正态分布之间的闭式估计表达式。该公式揭示了与Henze-Zirkler检验的Baringhaus-Henze-Epps-Pulley（BHEP）统计量的联系，并提供了对MMD的进一步见解。我们引入标准化版本的MMD作为WAE训练目标的惩罚项，使得MMD值更具可解释性，并在不同超参数设置下更具兼容性。接下来，我们提出在编码层使用一种批归一化版本；这有利于简化核宽选择、减少训练工作量，并防止聚合编码分布中的异常值。我们在合成数据和真实数据上的实验表明，解析公式优于常用的MMD随机近似，并证明编码归一化在训练WAE时带来了显著益处。
引用
@article{arxiv.1901.03227,
title = {Closed-form Expressions for Maximum Mean Discrepancy with Applications to Wasserstein Auto-Encoders},
author = {Raif M. Rustamov},
journal= {arXiv preprint arXiv:1901.03227},
year = {2020}
}
备注
Main paper is considerably shortened by moving some of the material into Appendix