一种用于强化学习智能体观测扰动攻击的新型分岔方法：对信息物理电力系统的负载改变攻击

影响现实世界过程的信息物理系统的组件通常暴露于互联网。随着可再生能源的出现以及提高其效率的愿望，这些系统变得越来越复杂，用深度强化学习（DRL）取代传统控制方法是能源系统中的一个活跃研究领域。人工神经网络（ANN）容易受到其输入或特征的特定扰动（称为对抗性示例）的影响。这些扰动在适当正则化时难以检测，但对ANN的输出有显著影响。由于DRL使用ANN将最优动作映射到观测，因此它们同样容易受到对抗性示例的攻击。本文提出了一种新颖的连续控制攻击技术，该技术使用带有分岔层的组差异对数损失。通过结合定向和非定向攻击的方面，与定向攻击相比，该攻击显著增加了影响，同时产生的失真远小于最优定向攻击。我们在一个现实的智能能源环境中展示了强大的基于梯度的攻击的影响，展示了影响如何随不同的DRL智能体和训练程序而变化，并使用统计和时间序列分析来评估攻击的隐蔽性。结果表明，对抗性攻击可能对DRL控制器产生重大影响，并且限制攻击的扰动使其难以检测。然而，某些DRL架构要稳健得多，并且稳健的训练方法可以进一步减少影响。