利用von Mises-Fisher抽样探索高斯嵌入中的大型动作集合
机器学习
2025-07-02 v1 信息检索
摘要
本文介绍了一种基于von Mises-Fisher分布抽样的可扩展方法，用于在强化学习中探索大型动作集合，其中高斯嵌入向量代表这些动作。vMF-exp涉及初始使用von Mises-Fisher分布对状态嵌入表示进行抽样，然后探索该表示的最近邻点，从而可扩展至几乎无限数量的候选动作。在理论假设下，vMF-exp按渐近方式维持与Boltzmann探索(B-exp)相同概率地探索每个动作；而B-exp是一种流行的替代方法，但因需为每个动作计算softmax值，导致可扩展性问题。因此，vMF-exp是一种可扩展的替代方案，可用于高斯嵌入中的大型动作集合探索。实验在仿真数据、真实公开数据以及vMF-exp在全球音乐流媒体服务推荐系统中的成功大规模部署中，实证验证了该方法的关键属性。
关键词
引用
@article{arxiv.2507.00518,
title = {Exploring Large Action Sets with Hyperspherical Embeddings using von Mises-Fisher Sampling},
author = {Walid Bendada and Guillaume Salha-Galvan and Romain Hennequin and Théo Bontempelli and Thomas Bouabça and Tristan Cazenave},
journal= {arXiv preprint arXiv:2507.00518},
year = {2025}
}
备注
42nd International Conference on Machine Learning (ICML 2025)