面向年龄最小化移动边缘计算的分数阶深度强化学习
机器学习
2023-12-20 v2 网络与互联网体系结构
信号处理
摘要
移动边缘计算（MEC）是一种极具前景的范式，适用于具有密集计算需求的实时应用（如自动驾驶），因为它可以降低处理延迟。本文关注计算密集型更新的时效性，以信息年龄（AoI）为衡量指标，研究如何以分数形式联合优化 AoI 的任务更新与卸载策略。具体而言，本文考虑边缘负载动态性，将任务调度问题建模为最小化期望时间平均 AoI。不确定的边缘负载动态、分数目标函数的特性以及（由联合优化引起的）混合连续-离散动作空间，使得该问题极具挑战性，现有方法无法直接应用。为此，本文提出了一种分数强化学习（RL）框架并证明了其收敛性。进一步设计了一种无模型的分数深度强化学习（DRL）算法，其中每个设备在不知道系统动态和其他设备决策的情况下，基于混合动作空间做出调度决策。实验结果表明，与几个非分数基准相比，本文提出的算法将平均 AoI 降低了高达 57.6%。
引用
@article{arxiv.2312.10418,
title = {Fractional Deep Reinforcement Learning for Age-Minimal Mobile Edge Computing},
author = {Lyudong Jin and Ming Tang and Meng Zhang and Hao Wang},
journal= {arXiv preprint arXiv:2312.10418},
year = {2023}
}