在网络边缘的能源受限设备上实现深度强化学习
网络与互联网体系结构
2022-05-31 v1
摘要
深度强化学习（DRL）解决方案正在网络边缘变得普遍，因为它们能够在动态环境中实现自主决策。然而，为了能够适应不断变化的环境，部署在嵌入式设备上的DRL解决方案即使在初始收敛后也必须继续偶尔采取探索性动作。换句话说，设备必须偶尔采取随机动作并更新价值函数，即重新训练人工神经网络（ANN），以确保其性能保持最优。不幸的是，嵌入式设备通常缺乏训练ANN所需的处理能力和能量。当边缘设备仅由能量收集（EH）方式供电时，能量方面尤其具有挑战性。为克服此问题，我们提出了一种两部分算法，其中DRL过程在sink处训练。然后将完全训练好的底层ANN的权重周期性地传输到采取动作的EH供电嵌入式设备。使用EH供电传感器、真实世界测量数据集，并针对信息年龄（AoI）指标进行优化，我们证明了这种DRL解决方案可以在没有任何性能下降的情况下运行，每天仅需几次ANN更新。
引用
@article{arxiv.2201.07308,
title = {Enabling Deep Reinforcement Learning on Energy Constrained Devices at the Edge of the Network},
author = {Jernej Hribar and Ivana Dusparic},
journal= {arXiv preprint arXiv:2201.07308},
year = {2022}
}