面向点播电视剧的Wi-Fi AP辅助内容预取：一种强化学习方法
多媒体
2017-03-13 v1
摘要
配备巨大存储空间的智能Wi-Fi AP（接入点）的出现，开辟了关于如何利用边缘网络中的这些资源来改善用户体验质量的新研究领域。该领域的一个重要研究兴趣是内容预取，它预测并提前准确获取内容，以在高峰时段转移流量。然而在实践中，用户间不同的视频观看模式以及不断变化的网络连接状态导致服务器负载随时间变化，最终使内容预取问题具有挑战性。为了理解这一挑战，本文首先利用真实轨迹对用户的AP连接和电视剧观看模式进行了大规模测量研究。然后，基于所获得的洞察，我们将内容预取问题表述为马尔可夫决策过程（MDP）。目标是在错误预测导致的预取与存储成本增加和成功预测带来的内容下载延迟降低之间取得平衡。我们提出了一种基于学习的方法来解决此问题，并采用另外三种算法作为基线。具体而言，首先，我们使用随机算法研究性能下界，使用理想离线方法研究性能上界。然后，我们提出一种启发式算法作为另一个基线。最后，我们设计了一种更实用的强化学习算法以在线方式工作。通过大量基于轨迹的实验，我们展示了我们设计的性能增益。值得注意的是，与随机（分别为启发式）算法相比，我们的基于学习的算法实现了更好的精度和命中率（例如80%），并节省了约70%（分别为50%）的成本。
引用
@article{arxiv.1703.03530,
title = {Towards Wi-Fi AP-Assisted Content Prefetching for On-Demand TV Series: A Reinforcement Learning Approach},
author = {Wen Hu and Yichao Jin and Yonggang Wen and Zhi Wang and Lifeng Sun},
journal= {arXiv preprint arXiv:1703.03530},
year = {2017}
}