基于似然匹配的在线有限记忆神经线性_bandits
机器学习
2021-06-09 v2 人工智能
摘要
我们研究神经线性_bandits，用于解决探索与表示学习均起重要作用的问题。神经线性_bandits利用深度神经网络（DNNs）的表示能力，并通过在最后隐藏层之上针对线性上下文_bandits设计的模型不确定性估计来实现高效探索机制。为缓解过程中表示变化的问题，使用来自无限缓冲区的存储数据计算新的不确定性估计。然而，当存储数据量有限时，会出现一种称为灾难性遗忘的现象。为此，我们提出一种对灾难性遗忘具有韧性且完全在线的似然匹配算法。我们将所提算法——有限记忆神经线性与似然匹配（NeuralLinear-LiM2）——应用于多种数据集，观察到其性能可与无限记忆方法相媲美，同时展现出对灾难性遗忘的韧性。
引用
@article{arxiv.2102.03799,
title = {Online Limited Memory Neural-Linear Bandits with Likelihood Matching},
author = {Ofir Nabati and Tom Zahavy and Shie Mannor},
journal= {arXiv preprint arXiv:2102.03799},
year = {2021}
}
备注
ICML 2021. arXiv admin note: text overlap with arXiv:1901.08612