镜像下降、Thompson 采样与信息比之间的联系
机器学习
2019-05-29 v1 机器学习
摘要
Russo 与 Van Roy（2014）的信息论分析结合极小极大对偶性，已被证明是分析全信息与部分信息设置下在线学习算法的有力工具。在大多数应用中，它与基于镜像下降的经典分析有着诱人的相似性。我们建立了形式化的联系，表明大多数应用中的信息论界可由现有的在线凸优化技术导出。此外，对于 -臂对抗式多臂老虎机，我们提供了一种高效算法，其悔值匹配最佳信息论上界，并改进了 -球上的在线线性优化及具有图反馈的多臂老虎机中已知的最佳悔值保证。
引用
@article{arxiv.1905.11817,
title = {Connections Between Mirror Descent, Thompson Sampling and the Information Ratio},
author = {Julian Zimmert and Tor Lattimore},
journal= {arXiv preprint arXiv:1905.11817},
year = {2019}
}