随机_bandit上的近最优对抗攻击与基于平滑响应的防御

Shiliang Zuo

随机_bandit上的近最优对抗攻击与基于平滑响应的防御

机器学习 2024-03-18 v8 机器学习

作者: Shiliang Zuo

摘要

我研究针对随机 bandit 算法的对抗攻击。每轮中，学习器选择一个臂，并生成一个随机奖励。对手策略性地向奖励中添加污染，而学习器每轮只能观测到被污染的奖励。本文给出两组结果。第一组研究对手的最优攻击策略。对手有一个希望推广的目标臂，其目标是操纵学习器选择该目标臂 $T - o(T)$ 次。我设计了针对 UCB 和 Thompson Sampling 的攻击策略，仅花费 $\widehat{O}(\sqrt{\log T})$ 代价。给出了匹配的下界，并精确刻画了 UCB、Thompson sampling 和 $\varepsilon$ -greedy 的脆弱性。第二组研究学习器如何防御对手。受平滑分析与行为经济学文献启发，我提出两种简单算法，可实现任意接近于 1 的竞争比。

关键词

对抗攻击随机 bandit UCB Thompson Sampling 防御平滑响应竞争比

引用

@article{arxiv.2008.09312,
  title  = {Near Optimal Adversarial Attacks on Stochastic Bandits and Defenses with Smoothed Responses},
  author = {Shiliang Zuo},
  journal= {arXiv preprint arXiv:2008.09312},
  year   = {2024}
}

备注

Accepted at AISTATS 2024, a preliminary version appeared at ICML 2023 AdvML Workshop

随机_bandit上的近最优对抗攻击与基于平滑响应的防御

摘要

关键词

引用

备注

相关论文