面向小小区缓存的协作式多智能体多臂老虎机学习
网络与互联网体系结构
2020-01-15 v2 信息论
math.IT
摘要
本文研究在用户偏好未知时小小区网络（SCNs）中基于学习的缓存问题。目标为优化各小基站（SBS）中的缓存放置以最小化系统长期传输时延。我们从多智能体多臂老虎机（MAMAB）视角建模该序贯多智能体决策问题。相较于先估计用户偏好再优化缓存策略，我们提出若干基于 MAMAB 的算法，在平稳与非平稳环境中直接在线学习缓存策略。在平稳环境中，我们首先提出两种具有高复杂度、带性能保证的基于智能体的协作 MAMAB 算法；随后提出一种忽略 SBS 协调的低复杂度分布式 MAMAB。为在 SBS 协调增益与计算复杂度间取得更好平衡，我们开发了基于边的协作 MAMAB，采用基于协调图边的奖励分配方法。在非平稳环境中，我们通过提出一种实用初始化方法并设计新的扰动项来改进平稳环境中提出的基于 MAMAB 的算法，以适应动态环境。仿真结果验证了所提算法的有效性，并讨论了不同参数对缓存性能的影响。
引用
@article{arxiv.2001.03835,
title = {Collaborative Multi-Agent Multi-Armed Bandit Learning for Small-Cell Caching},
author = {Xianzhe Xu and Meixia Tao and Cong Shen},
journal= {arXiv preprint arXiv:2001.03835},
year = {2020}
}
备注
15 pages, 11 figures,accepted by IEEE Transcations on Wireless Communication