使用联邦强化学习对云-边-端物联网网络中动态调度任务进行协作策略学习

在本文中，我们研究云-边-端物联网网络，其中边缘承担一系列典型的动态调度任务。在这些物联网网络中，可在云服务器上为每项任务构建中心策略。该中心策略随后可被执行任务的边缘使用，从而减轻它们从零开始学习自身策略的需要。此外，得益于物联网网络的分层架构，该中心策略可通过聚合来自边缘的本地经验在云服务器上协作学习。为此，我们提出一种使用联邦强化学习的动态调度任务协作策略学习新框架。为有效学习，我们的框架在每轮中自适应选择用于协作学习的任务，同时考虑任务间公平性的需求。此外，作为该框架的关键赋能技术，我们提出一种与边缘无关的策略结构，其支持来自不同边缘的本地策略的聚合。随后我们给出该框架的收敛性分析。通过仿真，我们证明所提框架显著优于无协作策略学习的方法。值得注意的是，它加快了策略的学习速度，并使新到达的边缘能更轻松地适应其任务。