针对基于强化学习控制器的模型提取攻击
机器学习
2023-04-27 v1 密码学与安全
系统与控制
系统与控制
摘要
我们提出了信息物理系统中的模型提取攻击问题，其中攻击者试图估计（或提取）系统的反馈控制器。提取（或估计）控制器为攻击者提供了无与伦比的优势，因为使其能预测系统未来的控制动作并相应规划攻击。因此，理解攻击者执行此类攻击的能力十分重要。本文聚焦于使用强化学习（RL）算法训练深度神经网络（DNN）控制器并用于控制随机系统的场景。我们扮演旨在估计此类未知 DNN 控制器的攻击者角色，并提出一种两阶段算法。第一阶段亦称离线阶段，攻击者利用关于 RL 奖励函数与系统动态的旁路信息来识别一组未知 DNN 的候选估计。第二阶段亦称在线阶段，攻击者观察未知 DNN 的行为并利用这些观测来筛选出最终策略估计集合。我们提供了未知 DNN 与估计模型之间误差的理论分析。我们还给出了展示所提算法有效性的数值结果。
引用
@article{arxiv.2304.13090,
title = {Model Extraction Attacks Against Reinforcement Learning Based Controllers},
author = {Momina Sajid and Yanning Shen and Yasser Shoukry},
journal= {arXiv preprint arXiv:2304.13090},
year = {2023}
}
备注
8 pages, 8 figures