多用户认知无线电系统中信道选择的多智能体Q学习：一个二乘二案例
信息论
2016-11-17 v1 math.IT
摘要
资源分配是认知无线电系统中的一个重要问题。它可以通过次要用户之间进行协商来完成。然而，由于主要用户活动的快速变化，协商需要频繁进行，因此可能会产生显著的开销。本文针对多用户多信道认知无线电系统，考虑了一种无需协商的信道选择方案。为了避免非协调引起的冲突，每个次要用户根据其经验学习如何选择信道。通过将对手次要用户视为环境的一部分，在Q学习的框架下应用了多智能体强化学习。使用Metrick-Polak图说明了Q学习的动态特性。通过Q学习与Robinson-Monro算法之间的相似性，以及相应常微分方程（通过Lyapunov函数）的收敛性分析，提供了Q学习收敛性的严格证明。给出了示例，并通过数值模拟评估了学习的性能。
引用
@article{arxiv.0903.5282,
title = {Multi-agent Q-Learning of Channel Selection in Multi-user Cognitive Radio Systems: A Two by Two Case},
author = {Husheng Li},
journal= {arXiv preprint arXiv:0903.5282},
year = {2016}
}
备注
submitted to 2009 IEEE International Conference on Systems, Man, and Cybernetics; the results of general n by m case will be published soon