针对奖励中毒攻击的鲁棒 Thompson 抽样算法
机器学习
2024-10-28 v1
摘要
Thompson抽样是一种流行于在线顺序决策问题的学习算法,在实际中具有丰富的应用。然而,当前的Thompson抽样算法受限于奖励接收到的假设是未被篡改的假设,这在现实中可能不成立,因为存在对抗性奖励中毒。为使Thompson抽样更可靠,我们希望其对对抗性奖励中毒具有鲁棒性。主要挑战在于,智能体只能观察到中毒后的奖励,因此无法计算真实奖励的实际后验分布。在本工作中,我们通过计算不太可能被攻击操控的伪后验分布来解决此问题。我们针对流行的随机和情境线性 bandit 设置提出鲁棒算法,无论智能体是否了解攻击者的预算。我们理论上证明,我们的算法在任何攻击策略下都保证近最优的报酬。
引用
@article{arxiv.2410.19705,
title = {Robust Thompson Sampling Algorithms Against Reward Poisoning Attacks},
author = {Yinglun Xu and Zhiwei Wang and Gagandeep Singh},
journal= {arXiv preprint arXiv:2410.19705},
year = {2024}
}