太阳能无人机辅助物联网网络中时效与节能数据收集的元强化学习
信息论
2023-11-14 v1 math.IT
摘要
无人机（UAV）凭借其灵活性与成本效益，有潜力极大协助物联网（IoT）网络执行任务关键型数据收集。然而，由于无人机机载能量有限以及传感器节点（SNs）状态更新的不可预测性，挑战随之产生，这影响了所收集数据的新鲜度。本文中，我们研究通过太阳能无人机在物联网网络中实现节能且及时的数据收集。每个 SN 以随机间隔生成状态更新，而无人机收集这些状态更新并随后传输至中央数据中心。此外，无人机从环境中获取太阳能以将其能量水平维持在预定阈值之上。为最小化 SNs 的平均信息年龄（AoI）与无人机的能耗，我们联合优化无人机轨迹、SN 调度与卸载策略。接着，我们将该问题建模为马尔可夫决策过程（MDP）并提出一种元强化学习算法以增强泛化能力。具体而言，提出复合动作深度强化学习（CADRL）算法来处理与 SN 调度和无人机卸载策略相关的离散决策，以及无人机飞行的连续控制。此外，我们将元学习融入 CADRL 以提升所学策略对新任务的适应性。为验证所提算法的有效性，我们进行了大量仿真并证明其相对于其他基线算法的优越性。
引用
@article{arxiv.2311.06742,
title = {Meta-Reinforcement Learning for Timely and Energy-efficient Data Collection in Solar-powered UAV-assisted IoT Networks},
author = {Mengjie Yi and Xijun Wang and Juan Liu and Yan Zhang and Ronghui Hou},
journal= {arXiv preprint arXiv:2311.06742},
year = {2023}
}