PoolFlip：面向网络防御的多智能体强化学习安全环境
机器学习
2025-08-28 v1 人工智能
密码学与安全
摘要
网络防御需要在隐蔽、欺骗且持续演变的对手策略下自动化防御决策。FlipIt游戏提供了建模防御者与高级对手交互的基础框架，后者能在不被立即察觉的情况下破坏系统。在FlipIt中，攻击者和防御者竞争控制共享资源，进行翻转动作并支付成本。然而，现有FlipIt框架依赖少量启发式方法或专用学习技术，可能导致脆弱性并难以适应新型攻击。为此，我们引入PoolFlip——一个支持攻击者和防御者高效学习的多智能体训练环境，扩展了FlipIt游戏。进一步，我们提出Flip-PSRO（Population-based Self-Play and Other-Play），一种多智能体强化学习方法，利用基于群体的训练训练具备通用性防御代理，以应对范围广泛的未知甚至自适应对手。我们的实证结果表明，Flip-PSRO防御者在未在训练中暴露的启发式攻击上，泛化效果是基线的2倍。此外，我们新设计的所有权导向效用函数确保Flip-PSRO防御者在优化性能时保持高度控制权。
引用
@article{arxiv.2508.19488,
title = {PoolFlip: A Multi-Agent Reinforcement Learning Security Environment for Cyber Defense},
author = {Xavier Cadet and Simona Boboila and Sie Hendrata Dharmawan and Alina Oprea and Peter Chin},
journal= {arXiv preprint arXiv:2508.19488},
year = {2025}
}
备注
Accepted at GameSec 2025