任务导向与数据导向通信的共存:一种惠特尔指数引导的多智能体强化学习方法
信息论
2022-05-20 v1 信号处理
math.IT
摘要
我们研究在共享一组信道的物联网系统中任务导向与数据导向通信的共存问题,并研究调度问题以联合优化错误信息的加权年龄(AoII)与吞吐量,二者分别为两类通信的性能指标。该问题被建模为马尔可夫决策问题,由于由信道随机可用性引起的大离散动作空间与时变动作约束,难以求解。通过利用该问题的内在特性并基于信道统计重构奖励函数,我们首先简化解空间、状态空间与最优性准则,并将其转化为等价的马尔可夫博弈,使大离散动作空间问题大为缓解。随后,我们提出一种惠特尔指数引导的多智能体近端策略优化(WI-MAPPO)算法来求解所考虑的博弈,其中嵌入的惠特尔指数模块进一步收缩动作空间,且所提出的离线训练算法扩展了常规MAPPO的训练内核以应对时变约束问题。最后,数值结果验证,在信道资源不足的场景下,所提算法显著优于基于最先进信息年龄(AoI)的算法。
引用
@article{arxiv.2205.09377,
title = {Coexistence between Task- and Data-Oriented Communications: A Whittle's Index Guided Multi-Agent Reinforcement Learning Approach},
author = {Ran Li and Chuan Huang and Xiaoqi Qin and Shengpei Jiang and Nan Ma and Shuguang Cui},
journal= {arXiv preprint arXiv:2205.09377},
year = {2022}
}