无感知对抗多玩家多臂老虎机中的碰撞通信问题
信息论
2021-04-27 v2 机器学习
math.IT
机器学习
摘要
我们从一个新视角研究众所周知的困难的无感知对抗多玩家多臂老虎机（MP-MAB）问题。我们未聚焦于多玩家的困难性，而是引入了一个称为可攻击性的新困难维度。所有对手可根据可攻击性进行分类，我们提出对抗自适应碰撞通信（A2C2），一类玩家间强制碰撞通信的算法。我们研究了可攻击性已知与未知两种设定，并利用 Z 信道模型与纠错编码的信息论工具，解决对抗环境中无碰撞信息的隐式通信挑战。针对更困难的可攻击性未知问题，我们提出一种由新型检错重复码与用于同步的随机化通信实现的、估计可攻击性的简单方法。理论分析证明，无论是否已知可攻击性，均可实现渐近的依赖于可攻击性的次线性后悔。特别地，渐近后悔不随玩家数量呈指数依赖，揭示了该问题中两个困难维度间的基本权衡。
引用
@article{arxiv.2011.01090,
title = {On No-Sensing Adversarial Multi-player Multi-armed Bandits with Collision Communications},
author = {Chengshuai Shi and Cong Shen},
journal= {arXiv preprint arXiv:2011.01090},
year = {2021}
}
备注
19 pages, 8 figures. Accepted to IEEE Journal on Selected Areas in Information Theory, Special Issue on Sequential, Active, and Reinforcement Learning