基于PyTorch的von Mises-Fisher及其混合密度估计器实现
机器学习
2021-02-11 v1 数学软件
摘要
von Mises-Fisher (vMF) 是著名的方向随机变量密度模型。近期针对图像或文本等高维结构化数据的深度嵌入方法旨在提取显著的方向信息，这可能使vMF模型更加流行。在本文中，我们将回顾vMF模型及其混合模型，并在Python/PyTorch中提供如何训练这些模型的详细方法，重点放在最大似然估计器上。特别地，vMF的实现通常受困于密度归一化中Bessel函数求值的 notorious 数值问题，尤其在维度较高时，我们使用支持任意精度的MPMath库来解决该问题。对于混合学习，我们提供基于小批量的大规模SGD学习，以及作为全批量估计器的EM算法。对于每个估计器/方法，我们在一些合成数据上测试了我们的实现，同时也展示了在图像聚类的更真实场景中的用例。我们的代码公开于 https://github.com/minyoungkim21/vmf-lib。
引用
@article{arxiv.2102.05340,
title = {On PyTorch Implementation of Density Estimators for von Mises-Fisher and Its Mixture},
author = {Minyoung Kim},
journal= {arXiv preprint arXiv:2102.05340},
year = {2021}
}