核化Wasserstein自然梯度
机器学习
2020-02-14 v4 机器学习
摘要
许多机器学习问题可表述为在某个概率分布参数族上优化某代价泛函。使用自然梯度方法求解此类优化问题通常是有益的。这些方法对该族的参数化具有不变性,从而能带来更有效的优化。遗憾的是,计算自然梯度具有挑战性,因为它需要在每次迭代中求逆一个高维矩阵。我们提出一个通用框架,通过利用限制于再生核希尔伯特空间中的该度量的对偶形式,来近似Wasserstein度量的自然梯度。我们的方法得到一个梯度方向的估计量,可在精度与计算代价之间权衡,并具有理论保证。我们在简单示例上验证其精度,并凭经验展示在Cifar10与Cifar100分类任务中使用此类估计量的优势。
引用
@article{arxiv.1910.09652,
title = {Kernelized Wasserstein Natural Gradient},
author = {Michael Arbel and Arthur Gretton and Wuchen Li and Guido Montufar},
journal= {arXiv preprint arXiv:1910.09652},
year = {2020}
}