上下文老虎机中的数据投毒攻击

我们研究上下文老虎机（一类在在线推荐和自适应医疗等具有重要应用的强化学习问题）中的离线数据投毒攻击。我们提供了一个基于凸优化的通用攻击框架，并表明通过轻微篡改数据中的奖励，攻击者可以迫使老虎机算法对目标上下文向量拉取目标臂。目标臂与目标上下文向量均由攻击者选定。也就是说，攻击者可以劫持上下文老虎机的行为。我们还考察了此类攻击的可行性与副作用，并指出了防御的未来方向。在合成与真实世界数据上的实验证明了攻击算法的高效性。