基于不安臂多臂老虎机的动态内容新鲜缓存

我们考虑一个动态内容缓存问题，其中内容在中央服务器上更新，部分内容的本地副本缓存在与基站 (BS) 关联的本地缓存中。当内容请求到达时，根据内容是否在本地缓存中，基站可以决定是从中央服务器获取内容，还是从本地缓存提供缓存版本。获取内容会产生固定的获取成本，而提供缓存版本会产生与内容版本年龄 (AoV) 成正比的老化成本。基站仅拥有内容 AoV 的部分信息。我们将最优内容获取与缓存问题表述为在缓存容量约束下最小化平均成本。该问题受制维数灾难，且可证明难以求解。我们将此问题表述为连续时间不安臂多臂老虎机过程 (RMAB)，其中对应的 RMAB 的单内容问题是部分可观测马尔可夫决策过程。我们将单内容问题重新表述为半马尔可夫决策过程，证明了其可索引性，并提供了基于 Whittle 指数的该问题解决方案。最后，我们与近期工作进行了性能比较，并通过仿真表明我们提出的策略是最优的。