利用分组线性预测与加速强化学习进行在线内容缓存
网络与互联网体系结构
2018-03-14 v1
摘要
主动缓存是一种通过在无线网络边缘预取热门内容来缓解高峰时段流量拥塞的有效方式。最大化缓存效率需要内容热度分布的知识，然而该知识往往无法提前获得。在本文中，我们首先提出一种名为分组线性模型（GLM）的新线性预测模型，基于历史数据估计未来内容请求。与许多假设静态内容热度分布的已有工作不同，由于新内容的到达与用户偏好的动态变化，我们的模型能适应实际系统中内容热度的时变特性。基于预测的内容请求，我们进而提出一种带无模型加速的强化学习方法（RLMA）用于在线缓存替换，同时考虑缓存命中与替换成本。该方法通过为 Q 值更新生成虚构样本，在非平稳环境中加速学习过程。基于真实轨迹的数值结果表明，所提出的基于预测与学习的在线缓存策略优于所有被考虑的主流现有方案。
引用
@article{arxiv.1803.04675,
title = {Using Grouped Linear Prediction and Accelerated Reinforcement Learning for Online Content Caching},
author = {Naifu Zhang and Kaibin Zheng and Meixia Tao},
journal= {arXiv preprint arXiv:1803.04675},
year = {2018}
}
备注
6 pages, 4 figures, ICC 2018 workshop