物联网系统中基于强化学习的能量收集多接入控制与电池预测
信号处理
2018-09-25 v2 信息论
math.IT
摘要
能量收集（EH）是实现物联网（IoT）系统长期自主可持续运行的一种有前景的技术。本文研究了一个包含多个 EH 用户设备（UE）和一个具有有限上行接入信道的小小区 IoT 系统中的联合接入控制与电池预测问题。每个 UE 配备一个容量有限的充电电池。系统控制被建模为一个马尔可夫决策过程，且不假设基站（BS）具备完整的先验知识，该过程还需处理状态与动作空间均较大的问题。首先，针对假设具有因果电池与信道状态信息的接入控制问题，我们提出了一种基于带深度 Q 网络（DQN）增强的强化学习（RL）的调度算法，以最大化上行传输总和速率。其次，对于电池预测问题，在采用固定轮询接入控制策略下，我们开发了一种基于 RL 的算法，在无需任何关于能量源与能量到达过程的模型知识下最小化预测损失（误差）。最后，研究了联合接入控制与电池预测问题，其中我们提出了一个两层 RL 网络以同时处理最大化总和速率与最小化预测损失：第一层用于电池预测，第二层基于第一层的输出生成接入策略。实验结果表明，所提出的三种 RL 算法相比现有基准均取得了更优性能。
引用
@article{arxiv.1805.05929,
title = {Reinforcement Learning based Multi-Access Control and Battery Prediction with Energy Harvesting in IoT Systems},
author = {Man Chu and Hang Li and Xuewen Liao and Shuguang Cui},
journal= {arXiv preprint arXiv:1805.05929},
year = {2018}
}