操纵强化学习：针对代价信号的投毒攻击
机器学习
2020-07-22 v2 密码学与安全
系统与控制
系统与控制
最优化与控制
机器学习
摘要
本章研究针对强化学习（RL）的新兴网络攻击，并引入一种量化方法来分析 RL 的脆弱性。聚焦于对代价信号的对抗性操纵，我们分析了在此操纵下 TD() 和 -学习算法的性能退化。对于 TD()，从被操纵代价中学习到的近似具有一个与攻击幅度成正比的近似误差界。对抗攻击对该界的影响不依赖于 的选择。在 -学习中，我们表明 -学习算法在隐蔽攻击和代价信号的有界伪造下收敛。我们刻画了伪造代价与 -因子以及学习智能体所学策略之间的关系，这为可行的攻防行动提供了基本限制。我们提出了一个关于代价的鲁棒区域，在该区域内 adversary（敌手）永远无法达成目标策略。我们给出了伪造代价的若干条件，这些条件可误导智能体学习敌手偏好的策略。提供了一个 TD() 学习的案例研究以佐证上述结果。
引用
@article{arxiv.2002.03827,
title = {Manipulating Reinforcement Learning: Poisoning Attacks on Cost Signals},
author = {Yunhan Huang and Quanyan Zhu},
journal= {arXiv preprint arXiv:2002.03827},
year = {2020}
}
备注
This chapter is written for the forthcoming book "Game Theory and Machine Learning for Cyber Security" (Wiley-IEEE Press), edited by Charles Kamhoua et. al. arXiv admin note: text overlap with arXiv:1906.10571