考虑虚假数据注入攻击与防御的匝道控制中深度强化学习算法鲁棒性分析
机器学习
2023-08-15 v2
摘要
匝道控制是对汇入高速公路主线的车辆进行调控的行为。数十年的匝道控制实践已证明，匝道控制可通过平顺交通交织过程来减少总行程时间、缓解冲击波、降低追尾碰撞等。除 ALINEA 等传统控制算法外，深度强化学习 (DRL) 算法已被引入以构建更精细的控制。然而，两个遗留挑战仍阻碍 DRL 在现实世界中的部署：(1) 算法的某些假设难以在现实中满足；(2) 丰富的输入状态可能使模型易受攻击与数据噪声影响。为研究这些问题，我们在本研究中提出一种仅以环形检测器信息作为输入的 Deep Q-Learning 算法。随后，设计了一组虚假数据注入攻击与随机噪声攻击以考察模型的鲁棒性。该模型的主要优势在于可应用于几乎所有匝道控制站点，而无需考虑道路几何与布局。除优于 ALINEA 方法外，Deep Q-Learning 方法在不同需求与几何条件下通过训练也展现出良好鲁棒性。例如，在田纳西州默弗里斯伯勒附近 I-24 的测试案例中，该模型在快速梯度符号法攻击下仍优于 ALINEA 算法，显示出其鲁棒性。与许多先前研究不同，该模型在完全不同的环境中进行训练与测试，以展示其能力。
引用
@article{arxiv.2301.12036,
title = {Analyzing Robustness of the Deep Reinforcement Learning Algorithm in Ramp Metering Applications Considering False Data Injection Attack and Defense},
author = {Diyi Liu and Lanmin Liu and Lee D Han},
journal= {arXiv preprint arXiv:2301.12036},
year = {2023}
}
备注
11 pages, 5 figures