基于深度强化学习的异步联邦学习车载边缘计算车辆选择方法
机器学习
2023-04-07 v1 网络与互联网体系结构
摘要
在传统车载网络中,车辆产生的计算任务通常上传至云端处理。然而,由于向云端卸载任务会造成较大时延,车载边缘计算(VEC)被引入以避免此类问题并提升系统整体性能,其中具备一定计算能力的路侧单元(RSU)作为边缘实体处理车辆数据。出于隐私与安全考虑,车辆不愿直接将本地数据上传至RSU,因此联邦学习(FL)成为VEC中部分机器学习任务的有前景技术,车辆仅需上传本地模型超参数而非将本地数据传输至附近RSU。此外,由于车辆本地数据量大小及计算能力各异,其本地训练时间不同,采用异步联邦学习(AFL)使RSU在收到本地模型后立即更新全局模型以减少聚合时延。然而,在VEC的AFL中,不同车辆因本地训练时延、传输时延和本地数据量不同而对全局模型更新影响不同;且若车辆中存在坏节点,将影响RSU的全局聚合质量。为解决上述问题,我们提出一种基于深度强化学习(DRL)的车辆选择方案,以提升车载网络AFL中全局模型的精度。该方案给出了基于DRL针对该特定问题的状态、动作与奖励模型。仿真结果表明,本方案能有效剔除坏节点并提升全局模型的聚合精度。
引用
@article{arxiv.2304.02832,
title = {Deep Reinforcement Learning Based Vehicle Selection for Asynchronous Federated Learning Enabled Vehicular Edge Computing},
author = {Qiong Wu and Siyuan Wang and Pingyi Fan and Qiang Fan},
journal= {arXiv preprint arXiv:2304.02832},
year = {2023}
}
备注
accepted by CNIS 2023 (invited paper)