面向实时物联网系统中信息年龄最小化的分布式强化学习
信息论
2021-09-09 v2 机器学习
math.IT
摘要
本文研究最小化物联网（IoT）设备的信息年龄（AoI）加权和与总能耗的问题。在所考虑模型中，每个 IoT 设备监测遵循非线性动态的物理过程。由于物理过程动态随时间变化，每个设备必须找到最优采样频率以采样物理系统的实时动态并将采样信息发送至基站（BS）。由于无线资源有限，BS 只能选择部分设备传输其采样信息。因此，边缘设备必须基于局部观测协同采样其监测的动态，且 BS 必须立即从设备收集采样信息，从而避免用于采样与信息传输的额外时间与能量。为此，有必要联合优化每个设备的采样策略与 BS 的设备选择方案，从而以最小能量精确监测物理过程动态。该问题被表述为一个优化问题，其目标是最小化 AoI 代价与能耗的加权和。为求解此问题，我们提出一种用于采样策略优化的新型分布式强化学习（RL）方法。所提算法使边缘设备能利用自身局部观测协同找到全局最优采样策略。给定采样策略后，可优化设备选择方案，从而最小化所有设备的 AoI 与能耗加权和。基于 PM 2.5 污染真实数据的仿真表明，与常规深度 Q 网络方法和均匀采样策略相比，所提算法可将 AoI 总和分别降低至多 17.8% 和 33.9%，将总能耗分别降低至多 13.2% 和 35.1%。
引用
@article{arxiv.2104.01527,
title = {Distributed Reinforcement Learning for Age of Information Minimization in Real-Time IoT Systems},
author = {Sihua Wang and Mingzhe Chen and Zhaohui Yang and Changchuan Yin and Walid Saad and Shuguang Cui and H. Vincent Poor},
journal= {arXiv preprint arXiv:2104.01527},
year = {2021}
}