利用夺旗挑战以强化学习建模渗透测试：无模型学习与先验知识之间的权衡

渗透测试是一种通过模拟攻击来评估系统安全性的安全演练。迄今为止，渗透测试主要由训练有素的人类攻击者执行，其成功与否关键取决于可用的专业知识。自动化这一实践是一个非平凡的问题，因为人类专家可能对系统尝试的行动范围以及她赖以决策的知识范围难以刻画。在本文中，我们将注意力集中在以夺旗黑客挑战形式表达的简化渗透测试问题上，并分析无模型强化学习算法如何帮助解决它们。在将这些夺旗竞赛建模为强化学习问题时，我们强调表征渗透测试的一个特定挑战是发现手头问题的结构这一问题。然后我们展示如何通过依赖可提供于智能体的不同形式的先验知识来缓解这一挑战。以此方式，我们论证了使用强化学习应对渗透测试的可行性可能取决于无模型与基于模型算法之间的谨慎权衡。通过使用注入先验知识的技术，我们表明可以更高效地引导智能体并限制其探索问题的空间，从而更高效地获得解。