面向无线电资源管理的绿色深度强化学习：架构、算法压缩与挑战
机器学习
2019-10-14 v1 人工智能
网络与互联网体系结构
信号处理
摘要
人工智能预示着无线网络及其他关键基础设施的性能与能力将发生阶跃式变革。然而，由于其高能耗，它也可能造成不可逆转的环境破坏。本文在 5G 及更先进网络的背景下应对这一挑战，其中无线电资源管理（RRM）的复杂性急剧增加。一方面，深度强化学习（DRL）为动态环境中高维 RRM 问题的可扩展优化提供了有力工具。另一方面，DRL 算法随时间消耗大量能量，并可能损害绿色无线电研究取得的进展。本文回顾并分析了如何通过架构与算法创新实现面向 RRM 的绿色 DRL。在架构上，提出了一种基于云训练与分布式决策的 DRL 方案，其中 RRM 实体可在云端训练与更新的辅助下做出轻量级深度本地决策。在算法层面，针对深度神经网络及底层马尔可夫决策过程引入了压缩方法，从而实现对挑战的精确低维表示。为跨地理区域扩展学习，提出了一种空间迁移学习方案，通过利用业务需求相关性进一步提升分布式 DRL 实体的学习效率。总体而言，我们所提出的架构与算法为绿色且按需的 DRL 能力提供了愿景。
引用
@article{arxiv.1910.05054,
title = {Green Deep Reinforcement Learning for Radio Resource Management: Architecture, Algorithm Compression and Challenge},
author = {Zhiyong Du and Yansha Deng and Weisi Guo and Arumugam Nallanathan and Qihui Wu},
journal= {arXiv preprint arXiv:1910.05054},
year = {2019}
}
备注
under review in IEEE Communications Magazine