高能效边缘计算：当 Lyapunov 遇上分布式强化学习
机器学习
2021-04-01 v1 人工智能
多智能体系统
网络与互联网体系结构
摘要
本文研究由边缘计算赋能的能效计算卸载问题。在所考虑场景中，多个用户同时竞争有限的无线与边缘计算资源，以在时延约束下处理卸载任务，且所有网络节点均可利用低功耗睡眠模式。无线资源分配考虑了小区间与小区内干扰，且无线与计算设备的占空比须联合优化以最小化总体能耗。为此，我们将底层问题表述为动态长期优化问题。进而，基于 Lyapunov 随机优化工具，将所表述问题解耦为 CPU 调度问题与按 slot 求解的无线资源分配问题。前者可用快速迭代算法最优且高效地求解，后者因其非凸性与 NP 难性质，采用分布式多智能体强化学习求解。所得框架达到基于穷举搜索的最优策略 96.5% 的性能，同时大幅降低复杂度。所提方案相较基准启发式方法亦提升了网络能效。
引用
@article{arxiv.2103.16985,
title = {Energy Efficient Edge Computing: When Lyapunov Meets Distributed Reinforcement Learning},
author = {Mohamed Sana and Mattia Merluzzi and Nicola di Pietro and Emilio Calvanese Strinati},
journal= {arXiv preprint arXiv:2103.16985},
year = {2021}
}