分布式 SDN 中用于自适应控制器同步的约束强化学习
网络与互联网体系结构
2024-03-15 v1 人工智能
摘要
在软件定义网络（SDN）中，分布式 SDN 控制器的实现（每个控制器负责管理特定的子网或域）在实现集中控制、可扩展性、可靠性和网络效率之间的平衡方面起着关键作用。这些控制器必须同步，以维护整个网络的逻辑集中视图。尽管存在多种同步分布式 SDN 控制器的方法，但大多数方法往往优先考虑通信延迟优化或负载均衡等目标，往往忽略了同时兼顾这两个方面。当考虑到增强现实和虚拟现实（AR/VR）等应用时，这一局限性变得尤为显著，这些应用要求受限的网络延迟和大量的计算资源。此外，该领域许多现有研究主要依赖于基于值的强化学习（RL）方法，忽略了最先进的基于策略的 RL 算法提供的潜在优势。为了弥补这一差距，我们的工作重点研究深度强化学习（DRL）技术，涵盖基于值和基于策略的方法，以保证 SDN 环境中 AR/VR 任务卸载的延迟上限，同时为 AR/VR 任务卸载选择最具成本效益的服务器。我们的评估结果表明，虽然基于值的方法在优化延迟或负载均衡等单个网络指标方面表现出色，但基于策略的方法在适应突发的网络变化或重新配置方面展现出更强的鲁棒性。
引用
@article{arxiv.2403.08775,
title = {Constrained Reinforcement Learning for Adaptive Controller Synchronization in Distributed SDN},
author = {Ioannis Panitsas and Akrit Mudvari and Leandros Tassiulas},
journal= {arXiv preprint arXiv:2403.08775},
year = {2024}
}