玻尔兹曼机的Wasserstein训练
机器学习
2015-07-09 v1 机器学习
摘要
玻尔兹曼机提供了一个有用的框架来学习现实世界中出现的极其复杂、多模态和多尺度的数据分布。学习其参数的默认方法包括最小化从训练样本到玻尔兹曼模型的Kullback-Leibler（KL）散度。本文提出一种新颖的玻尔兹曼机训练方法，该方法假设观测值之间存在一个有意义的度量。该度量可以用分布间的Wasserstein距离来表示，我们针对模型参数推导了其梯度。最小化这个新的Wasserstein目标会产生在考虑该度量时表现更好且具有类簇结构的生成模型。我们展示了这些模型在数据补全和去噪方面的实际潜力，其中观测值间的度量起着至关重要的作用。
引用
@article{arxiv.1507.01972,
title = {Wasserstein Training of Boltzmann Machines},
author = {Grégoire Montavon and Klaus-Robert Müller and Marco Cuturi},
journal= {arXiv preprint arXiv:1507.01972},
year = {2015}
}
备注
9 pages, 6 figures