面向分层内容分发网络的自适应缓存深度强化学习

缓存被设想在下一代内容分发基础设施、蜂窝网络及互联网架构中扮演关键角色。通过在非高峰需求时段将最热门内容智能存储于具备存储能力的网络实体中，缓存在高峰时段可惠及网络基础设施与终端用户。在此背景下，跨网络实体分配有限存储容量需要去中心化缓存方案。许多实际缓存系统涉及一个连接多个叶节点以服务用户文件请求的父缓存节点。为建模父节点与叶节点缓存决策间的双向交互影响，提出了一种强化学习框架。为处理大型连续状态空间，采用了可扩展的深度强化学习方法。该新颖方法依赖深度 Q 网络以在线方式学习 Q 函数，从而学习最优缓存策略。赋予父节点学习并适应叶节点未知策略以及文件请求的时空动态演化之能力，带来了卓越的缓存性能，数值测试亦证实了这一点。