多用户 HARQ 网络中信息年龄的强化学习方法
信息论
2021-02-22 v1 机器学习
math.IT
摘要
研究了在易错通信信道上将时间敏感信息从源节点调度传输至多个用户，以最小化用户处长期平均信息年龄（AoI）的问题。对源施加了长期平均资源约束，限制平均传输次数。源在每个时隙仅能向单一用户传输，且每次传输后从预期接收方获得即时 ACK/NACK 反馈，并决定何时及向哪一用户传输下一次更新。在假设信道统计已知的前提下，针对标准自动重传请求（ARQ）与混合 ARQ（HARQ）协议研究了最优调度策略。随后，引入强化学习（RL）方法来求得近最优策略，该方法不依赖于支配信道状态的随机过程的任何先验信息。通过数值仿真应用并比较了不同 RL 方法，包括带线性函数逼近（LFA）的平均代价 SARSA、上置信强化学习（UCRL2）与深度 Q 网络（DQN）。
引用
@article{arxiv.2102.09774,
title = {A Reinforcement Learning Approach to Age of Information in Multi-User Networks with HARQ},
author = {Elif Tugce Ceran and Deniz Gunduz and Andras Gyorgy},
journal= {arXiv preprint arXiv:2102.09774},
year = {2021}
}