基于深度强化学习的工业物联网中感知信息年龄感知的 VNF 调度
信号处理
2021-05-11 v1 机器学习
摘要
在时延敏感的工业物联网（IIoT）应用中，感知信息年龄（AoI）被用于刻画信息的新鲜度。同时，新兴的网络功能虚拟化（NFV）为服务提供商使用一系列虚拟网络功能（VNF）交付给定网络服务提供了灵活性与敏捷性。然而，这些方案中的合适 VNF 放置与调度是 NP 难的，且通过传统方法寻找全局最优解十分复杂。近来，深度强化学习（DRL）已成为解决此类问题的可行途径。在本文中，我们首先利用单智能体低复杂度复合动作 actor-critic 强化学习来同时涵盖离散与连续动作，并在端到端服务质量约束下就网络资源联合最小化 VNF 成本与 AoI。为克服单智能体学习的能力限制，我们随后将方案扩展为多智能体 DRL 方案，其中智能体彼此协作。仿真结果表明，单智能体方案在平均网络成本与 AoI 方面显著优于贪婪算法。此外，多智能体方案通过智能体间任务划分降低了平均成本。然而，由于智能体协作的需求，其需要更多迭代才能被学习。
引用
@article{arxiv.2105.04207,
title = {Age of Information Aware VNF Scheduling in Industrial IoT Using Deep Reinforcement Learning},
author = {Mohammad Akbari and Mohammad Reza Abedi and Roghayeh Joda and Mohsen Pourghasemian and Nader Mokari and Melike Erol-Kantarci},
journal= {arXiv preprint arXiv:2105.04207},
year = {2021}
}