具有线性收益的部分可观测上下文赌博机
机器学习
2024-09-19 v1 机器学习
摘要
标准的上下文赌博机框架假设上下文是完全可观测且可操作的。在本工作中，受金融领域应用的启发，我们考虑了一种新的赌博机设置，其中上下文部分可观测、相互关联且具有线性收益，该领域的决策基于通常显示时间相关性且未被完全观测的市场信息。我们结合统计信号处理与赌博机的思想，做出了以下贡献：（i）我们提出了一个名为 EMKF-Bandit 的算法流程，它将系统辨识、滤波和经典的上下文赌博机算法集成到一个在隐参数估计和决策之间交替进行的迭代方法中。（ii）当我们选择汤普森采样作为赌博机算法时，我们分析了 EMKF-Bandit，并证明它在满足滤波条件的情况下会产生次线性遗憾。（iii）我们进行了数值模拟，证明了所提出流程的优势和实际适用性。
引用
@article{arxiv.2409.11521,
title = {Partially Observable Contextual Bandits with Linear Payoffs},
author = {Sihan Zeng and Sujay Bhatt and Alec Koppel and Sumitra Ganesh},
journal= {arXiv preprint arXiv:2409.11521},
year = {2024}
}