通过认知神经网络实现近似汤普森采样
机器学习
2023-02-21 v1 人工智能
摘要
汤普森采样（TS）是一种流行的动作选择启发式方法，但它需要从后验分布中采样。不幸的是，在复杂环境中，例如使用神经网络建模的环境，这可能在计算上变得难以处理。近似后验样本可以产生有效的动作，但前提是它们能合理地近似输出在输入上的联合预测分布。值得注意的是，仅边缘预测分布的准确性是不够的。认知神经网络（ENN）旨在产生准确的联合预测分布。我们通过计算实验比较了一系列 ENN，评估它们在老虎机和强化学习环境中近似 TS 的性能。结果表明，ENN 能很好地服务于这一目的，并说明了联合预测分布的质量如何驱动性能。此外，我们证明了 \textit{epinet}——一个估计不确定性的小型加性网络——能够以低几个数量级的计算成本匹配大型集成的性能。这使得 TS 的有效应用能够优雅地扩展到复杂环境。
引用
@article{arxiv.2302.09205,
title = {Approximate Thompson Sampling via Epistemic Neural Networks},
author = {Ian Osband and Zheng Wen and Seyed Mohammad Asghari and Vikranth Dwaracherla and Morteza Ibrahimi and Xiuyuan Lu and Benjamin Van Roy},
journal= {arXiv preprint arXiv:2302.09205},
year = {2023}
}