优化远程驾驶网络的联邦强化学习
网络与互联网体系结构
2024-10-04 v1
摘要
第六代（6G）的多个用例对可靠性和延迟有严格要求，尤其是远程驾驶（TD）。为满足这些要求，预测质量服务（PQoS）结合强化学习（RL）已成为一种有效方法，用于动态调整 TD 应用程序的配置（例如，汽车数据压缩程度）以适应所经历的网络条件。本文我们探讨了不同类的 RL 算法用于 PQoS，包括 MAB（无状态）、SARSA（基于状态的在策略）、Q-Learning（基于状态的离策略）以及 DSARSA 和 DDQN（具有神经网络近似）。我们在联邦学习（FL）设置中训练智能体，以提高收敛时间和公平性，并促进隐私和安全。目标是优化质量服务（QoS）与质量体验（QoE）之间的权衡，后者以端到端延迟和压缩操作质量来衡量。我们表明 Q-Learning 使用较少的可学习参数，在 TD 场景中以平均奖励、收敛和计算成本方面表现最佳。
引用
@article{arxiv.2410.02312,
title = {Federated Reinforcement Learning to Optimize Teleoperated Driving Networks},
author = {Filippo Bragato and Marco Giordani and Michele Zorzi},
journal= {arXiv preprint arXiv:2410.02312},
year = {2024}
}
备注
This paper has been accepted for publication at IEEE Global Communications Conference (GLOBECOM), 2024