面向有状态 NFV 赋能零接触 6G 网络的主动式与年龄感知故障恢复：无模型 DRL 方法
信号处理
2021-11-10 v4 机器学习
摘要
本文提出一种名为 ZT-PFR 的零接触、基于深度强化学习（DRL）的主动式故障恢复框架，用于有状态网络功能虚拟化（NFV）赋能网络。为此，我们构建了一个资源高效的优化问题，最小化包含资源成本与错误决策惩罚的网络代价函数。作为求解方案，我们提出基于先进 DRL 的方法，如 soft-actor-critic（SAC）与 proximal-policy-optimization（PPO）。此外，为训练与测试 DRL 智能体，我们提出一种新颖的迫近故障模型。再者，为使网络状态信息保持可接受的新鲜度以辅助恰当决策，我们应用信息年龄概念，在基于事件与基于调度的监测间取得平衡。由分析与仿真结果得出若干 ZT-PFR 的关键系统与 DRL 算法设计洞见。例如，我们在 DRL 智能体结构中采用由长短期记忆层构成的混合神经网络，以捕捉迫近故障的时间依赖性。
引用
@article{arxiv.2103.03817,
title = {Proactive and AoI-aware Failure Recovery for Stateful NFV-enabled Zero-Touch 6G Networks: Model-Free DRL Approach},
author = {Amirhossein Shaghaghi and Abolfazl Zakeri and Nader Mokari and Mohammad Reza Javan and Mohammad Behdadfar and Eduard A Jorswieck},
journal= {arXiv preprint arXiv:2103.03817},
year = {2021}
}
备注
Accepted by IEEE TNSM for publication Code is available in https://github.com/wildsky95/ZT-PFR