基于层次化强化学习框架的混合认知物联网：合作性缓存与 SWIPT-EH
信号处理
2025-12-17 v1 网络与互联网体系结构
摘要
本文提出一种基于软演员-评论家 (SAC) 算法的层次化深度强化学习 (DRL) 框架，用于混合 underlay-overlay 认知互联网物联网 (CIoT) 网络，集成了同时无线信息和能量传输 (SWIPT)-能量收集 (EH) 与合作性缓存。不同于以往仅聚焦于频谱接入或功率控制的层次化 DRL 方法，本工作统一优化 EH、混合接入协调、功率分配与缓存。该联合优化问题被表述为加权求和多目标任务，旨在最大化吞吐量和缓存命中率，同时最小化传输延迟。在本模型中，CIoT 代理人联合优化 EH 与数据传输，采用可学习的时间切换 (TS) 参数；协调混合 overlay-underlay 框架下的频谱接入，决策功率控制与缓存布局，综合考虑能耗、干扰与存储约束。具体而言，合作性缓存用于实现 overlay 接入，而功率控制用于 underlay 接入。本工作提出的新型三层次层次化 SAC (H-SAC) 代理将混合离散-连续动作空间分解为模块化子问题，显著提升了可扩展性与收敛性。高层策略调整 TS 参数，中层策略管理频谱接入协调与缓存共享，低层策略决定 CIoT 代理人与被动用户内容的发射功率与缓存动作。仿真结果表明，所提出的层次化 SAC 方法在平均总速率、延迟、缓存命中率和能效等指标上显著优于基准与贪心策略，即使在信道衰落与不确定条件下亦如此。
引用
@article{arxiv.2512.14488,
title = {Hybrid Cognitive IoT with Cooperative Caching and SWIPT-EH: A Hierarchical Reinforcement Learning Framework},
author = {Nadia Abdolkhani and Walaa Hamouda},
journal= {arXiv preprint arXiv:2512.14488},
year = {2025}
}
备注
Published in IEEE Internet of Things Journal (Early Access), 2025. This arXiv version is the authors' accepted manuscript