通过最优传输实现可扩展的汤普森采样
机器学习
2019-02-21 v1 机器学习
摘要
汤普森采样(TS)是一类用于序贯决策的算法，需要维持模型的分布后验。然而，除最简模型外，精确后验分布的计算对所有模型均不可行。因此，对于带有复杂模型(如神经网络)的可扩展TS而言，高效计算近似后验分布是一个关键问题。本文利用分布优化技术，通过Wasserstein梯度流求解来近似后验分布。基于该框架，我们为TS开发了一种原理性的粒子优化算法，以高效近似后验。我们的方法具有可扩展性，且不对后验近似作显式的分布假设。在合成数据与真实大规模数据上的大量实验证明了所提方法的优越性能。
引用
@article{arxiv.1902.07239,
title = {Scalable Thompson Sampling via Optimal Transport},
author = {Ruiyi Zhang and Zheng Wen and Changyou Chen and Lawrence Carin},
journal= {arXiv preprint arXiv:1902.07239},
year = {2019}
}
备注
Infer to Control Workshop on Probabilistic Reinforcement Learning and Structured Control at NIPS 2018; Long version accepted by AISTATS 2019