面向移动网络用户关联与移交的多智能体 Q 学习
信号处理
2024-12-31 v1 机器学习
多智能体系统
网络与互联网体系结构
摘要
随着下一代移动网络变得更加密集，在确保每个基站不被过载的前提下，为每个时间点将用户关联到最优基站变得至关重要，以实现稳定和高性能网络。我们提出用于密集 cellular 网络中实时负载均衡用户关联和移交的多智能体 Q 学习（QL）算法。所有基站的负载均衡约束耦合了用户智能体的动作，我们提出两种多智能体动作选择策略：一种集中式，一种分布式，以满足每个学习步骤的负载均衡。在集中式策略中，用户终端（UE）的动作由运行基于交换最差连接以最大化总学习奖励的算法的中心负载均衡器（CLB）决定。在分布式策略中，每个 UE 基于其本地信息通过参与基站之间的分布式匹配游戏来采取动作，以最大化本地奖励。我们将这些动作选择策略集成到一种能够适应网络动态的在线 QL 算法中，包括信道变化和用户移动性变化，使用考虑移交成本的奖励函数以减少移交频率。该提议的多智能体 QL 算法具有低复杂度和快速收敛，优于 3GPP max-SINR 关联。两种策略在各种 UE 速度配置（步行、跑步、骑行和郊区驾驶）下都能很好地适应网络动态，显示出其鲁棒性和实时适应性。
引用
@article{arxiv.2412.19835,
title = {Multi-Agent Q-Learning for Real-Time Load Balancing User Association and Handover in Mobile Networks},
author = {Alireza Alizadeh and Byungju Lim and Mai Vu},
journal= {arXiv preprint arXiv:2412.19835},
year = {2024}
}