基于惠特尔指数的带线性函数逼近的无线边缘缓存 Q-Learning
网络与互联网体系结构
2023-02-24 v2 机器学习
摘要
我们考虑在无线边缘进行内容缓存以通过不可靠的无线信道服务一组终端用户的问题，旨在最小化由于无线边缘缓存容量受限而由终端用户经历的平均时延。我们将该问题建模为马尔可夫决策过程，或更具体地，一个 restless 多臂老虎机问题，该问题被证明难以求解。我们首先研究一个折扣版本，并证明它允许阈值型最优策略的存在。随后我们表明该结论对平均时延问题同样成立。利用这一结构结果，我们确立了问题的可指数性，并采用惠特尔指数策略来最小化平均时延。由于内容请求率和无线信道条件等系统参数通常未知且时变，我们进一步开发了一种无模型强化学习算法，称为 Q^{+}-Whittle，其依赖于惠特尔指数策略。然而，Q^{+}-Whittle 需要为所有状态-动作对存储 Q 函数值，其数量在无线边缘缓存中可能极其庞大。为此，我们用维度小得多的参数化函数类逼近 Q 函数，并进一步设计了带线性函数逼近的 Q^{+}-Whittle 算法，称为 Q^{+}-Whittle-LFA。我们给出了 Q^{+}-Whittle-LFA 均方误差的有限时间界。基于真实轨迹的仿真结果表明，Q^{+}-Whittle-LFA 取得了优异的经验性能。
引用
@article{arxiv.2202.13187,
title = {Whittle Index based Q-Learning for Wireless Edge Caching with Linear Function Approximation},
author = {Guojun Xiong and Shufan Wang and Jian Li and Rahul Singh},
journal= {arXiv preprint arXiv:2202.13187},
year = {2023}
}