资源受限多源中继系统中最小化信息年龄：动态与基于学习的调度
信号处理
2023-01-10 v3
摘要
我们考虑一个多源中继系统，其中独立信源随机生成状态更新数据包，并借助中继通过不可靠链路发送至目的地。我们制定传输调度策略，以在传输容量和长期平均资源约束下最小化加权总和平均信息年龄（AoI）。我们将该问题表述为随机控制优化问题，并使用约束马尔可夫决策过程（CMDP）方法和漂移加惩罚方法求解。CMDP 问题通过拉格朗日松弛法转化为 MDP 问题求解。我们从理论上分析了 MDP 问题最优策略的结构，随后提出一种结构感知算法，可返回实用的近最优策略。利用漂移加惩罚方法，我们设计了一种近最优低复杂度策略，可动态执行调度决策。我们还开发了一种无模型深度强化学习策略，其中采用了李雅普诺夫优化理论和竞争双深度 Q 网络（dueling double deep Q-network）。分析了所提策略的复杂度。提供了仿真结果以评估我们的策略性能并验证理论结果。结果显示与基线策略相比最高有 91% 的性能提升。
引用
@article{arxiv.2203.05656,
title = {Minimizing the AoI in Resource-Constrained Multi-Source Relaying Systems: Dynamic and Learning-based Scheduling},
author = {Abolfazl Zakeri and Mohammad Moltafet and Markus Leinonen and Marian Codreanu},
journal= {arXiv preprint arXiv:2203.05656},
year = {2023}
}
备注
Conditionally accepted for a publication