面向时延敏感能量收集无线传感器的加速结构感知强化学习
网络与互联网体系结构
2019-05-07 v2 机器学习
信号处理
摘要
我们研究了一个能量收集无线传感器在衰落信道上传输对时延敏感的数据。传感器将捕获的数据包注入其传输队列，并依赖从环境收集的环境能量来传输它们。我们的目标是找到最优调度策略，该策略在每个传输机会决定是否传输队列队首数据包，使得在给定可用收集能量下期望数据包排队时延最小。未假设支配信道、捕获数据或收集能量动态的随机过程的先验知识，从而需要使用在线学习来优化调度策略。我们将该调度问题建模为马尔可夫决策过程（MDP），并分析其最优值函数的结构性质。特别地，我们证明它关于队列积压是非递减且具有递增差分，而关于电池状态是非递增且具有递增差分。我们利用该结构提出一种新颖的加速强化学习（RL）算法，以快得多的学习率在线求解调度问题，同时限制由此引发的计算复杂度。我们的实验表明，所提算法紧密逼近需要信道、捕获数据和收集能量动态先验知识的最优离线解的性能。同时，通过利用值函数的结构，我们的方法相对于最先进 RL 算法取得了有竞争力的性能，且潜在复杂度低数个数量级。最后，相对于众所周知且广泛使用的 Q-learning 算法，展示了显著的性能增益。
引用
@article{arxiv.1807.08315,
title = {Accelerated Structure-Aware Reinforcement Learning for Delay-Sensitive Energy Harvesting Wireless Sensors},
author = {Nikhilesh Sharma and Nicholas Mastronarde and Jacob Chakareski},
journal= {arXiv preprint arXiv:1807.08315},
year = {2019}
}
备注
arXiv admin note: text overlap with arXiv:1803.09778