一种用于 femtocell 网络实时功率分配的协作 Q-learning 方法
多智能体系统
2013-03-13 v1 机器学习
摘要
本文利用分布式多智能体 Q-learning 解决了认知 femtocell 与宏蜂窝（主用户）共享相同频段的分布式干扰管理问题。我们 formulate 并求解了三个代表不同 Q-learning 算法的问题：即基于 Q-learning 的集中式、分布式和半分布式功率控制（CPC-Q、DPC-Q 和 PDPC-Q）。CPC-Q 虽无实际应用价值，但表征了全局最优解。DPC-Q 和 PDPC-Q 均在两种不同的学习范式下运行：独立学习（IL）和协作学习（CL）。前者被视为在多智能体场景中应用 Q-learning 的最简单形式，其中所有 femtocell 独立学习；后者是本文提出的方案，femtocell 在学习过程中共享部分信息，以在实际相关性和性能之间取得平衡。在性能方面，仿真结果表明 CL 范式优于 IL 范式，并实现了非常接近最优值的聚合 femtocell 容量。针对实际相关问题，我们在学习过程中通过部署新的 femtocell 实时评估了 DPC-Q 的鲁棒性和可扩展性，结果表明 CL 范式下的 DPC-Q 可扩展至大量 femtocell，且相比 IL 范式对网络动态具有更强的鲁棒性。
引用
@article{arxiv.1303.2789,
title = {A Cooperative Q-learning Approach for Real-time Power Allocation in Femtocell Networks},
author = {Hussein Saad and Amr Mohamed and Tamer ElBatt},
journal= {arXiv preprint arXiv:1303.2789},
year = {2013}
}