Ares：面向系统的对抗机器学习兵棋推演框架

自近十年前发现针对机器学习模型的对抗攻击以来，对抗机器学习研究已迅速演化为防御者与攻击者之间永无止境的战争：防御者力求提升 ML 模型抵御对抗攻击的鲁棒性，而攻击者力求开发更强的攻击以削弱或击败这些防御。然而，该领域鲜少获得 ML 从业者的认同，他们既不过分担忧这些攻击在现实世界中影响自身系统，也不愿为追求抵御此类攻击的鲁棒性而牺牲模型精度。本文中，我们阐述了 Ares 的设计与实现动机，Ares 是一个对抗 ML 评估框架，允许研究者在拟真兵棋推演环境中探索攻击与防御。Ares 将攻击者与防御者之间的对抗构建为强化学习环境中具有对立目标的两个智能体。这允许引入系统级评估指标（如失效时间）以及复杂策略（如移动目标防御）的评估。我们给出了初步探索的结果，涉及白盒攻击者对抗对抗训练防御者。