模型不确定性下鲁棒性头部压缩的强化学习
信号处理
2023-09-26 v1
摘要
鲁棒性头部压缩（ROHC）位于网络层与 MAC 层之间，在现代无线通信系统中对提高数据效率起着重要作用。本工作研究了双向 ROHC（BD-ROHC）与一种新颖的强化学习（RL）架构的集成。我们构建了一个部分可观测的马尔可夫决策过程（POMDP），其中智能体为压缩器，环境由解压缩器、信道和头部源组成。我们的工作采用著名的深度 Q 网络（DQN），其将动作与观测的历史作为输入，并输出相应动作的 Q 值。与现有工作中提出的理想动态规划（DP）相比，我们的方法在状态、动作和观测空间上具有可扩展性。相反，由于长解压缩器反馈延迟和复杂信道模型，当状态数量变大时，DP 常面临惊人的计算复杂度。此外，我们的方法不需要模型转移动态和准确观测依赖的先验知识，而这些在许多实际应用中往往不可得。
引用
@article{arxiv.2309.13291,
title = {Reinforcement Learning for Robust Header Compression under Model Uncertainty},
author = {Shusen Jing and Songyang Zhang and Zhi Ding},
journal= {arXiv preprint arXiv:2309.13291},
year = {2023}
}