基于深度强化学习的熵最大化动态网络重构
机器学习
2023-01-31 v2 人工智能
密码学与安全
物理与社会
摘要
网络理论中的一个关键问题是如何重构图以优化可量化的目标。鉴于网络系统的普遍性，此类工作在从药物与材料设计到电信的各种情境中具有广泛的实际应用。然而，可能重构方案巨大的决策空间使该问题计算密集。本文将优化特定结构属性的网络重连问题建模为马尔可夫决策过程（MDP），其中决策者在顺序执行的修改预算约束下行动。我们随后提出一种基于深度 Q 网络（DQN）算法和图神经网络（GNNs）的通用方法，可高效学习网络重连策略。接着我们讨论了一个网络安全案例研究，即用于入侵防护的计算机网络重构问题。在典型场景中，攻击者可能拥有其计划渗透系统的（部分）地图；若网络被有效“打乱”，由于其先验知识失效，他们将无法导航。这可视为熵最大化问题，其目标是增加网络的意外性。事实上，熵可作为网络拓扑导航难度的代理度量。我们展示了所提方法在合成与真实图上获得优于随机重连的熵增益的通用能力，且计算开销低，并能泛化到比训练时更大的图。攻击场景仿真证实了所学重连策略的有效性。
引用
@article{arxiv.2205.13578,
title = {Dynamic Network Reconfiguration for Entropy Maximization using Deep Reinforcement Learning},
author = {Christoffel Doorman and Victor-Alexandru Darvariu and Stephen Hailes and Mirco Musolesi},
journal= {arXiv preprint arXiv:2205.13578},
year = {2023}
}
备注
10 pages, 6 figures, 1 appendix