Power Spherical 分布
机器学习
2020-06-16 v2 机器学习
摘要
在超球面空间中定义的概率模型正受到越来越多的关注，无论是为了适应观测数据还是潜结构。von Mises-Fisher（vMF）分布常被视为超球面上的正态分布，是一种标准的建模选择：它是指数族因而享有重要的统计结论，例如已知与其他 vMF 分布的 Kullback-Leibler（KL）散度。然而，从 vMF 分布采样需要拒绝采样过程，该过程不仅缓慢，还在通过重参数化技巧进行随机反向传播时带来困难。此外，该过程对某些 vMF 在数值上不稳定，例如高集中度和/或高维的 vMF。我们提出一种新分布——Power Spherical 分布，它保留了 vMF 的一些重要方面（例如超球面上的支撑、关于其均值方向参数的对称性、已知与其他 vMF 的 KL 散度），同时解决了其主要缺陷（即可扩展性与数值稳定性）。我们通过数值实验展示了 Power Spherical 分布的稳定性，并将其进一步应用于在 MNIST 上训练的自编码器。代码见：https://github.com/nicola-decao/power_spherical
引用
@article{arxiv.2006.04437,
title = {The Power Spherical distribution},
author = {Nicola De Cao and Wilker Aziz},
journal= {arXiv preprint arXiv:2006.04437},
year = {2020}
}
备注
8 pages, 2 figures, 1 table. Code at: https://github.com/nicola-decao/power_spherical