基于深度强化学习的车载边缘计算

智能车辆构建了车联网(Vehicle of Internet),能够执行各种智能服务。尽管车辆的计算能力有限,但多类型边缘计算节点为车载服务提供了异构资源。当将复杂服务卸载到车载边缘计算节点时,决策应考虑众多因素。现有的卸载决策工作大多将决策建模为具有单目标或多目标函数及若干约束的资源调度问题,并探索定制的启发式算法。然而,在服务中卸载多个数据依赖任务是一项困难的决策,因为最优解必须理解资源需求、接入网络、用户移动性,以及重要的数据依赖性。受机器学习近期进展的启发,我们提出了一种面向车联网的知识驱动(KD)服务卸载决策框架,该框架直接从环境中提供最优策略。我们将服务中多任务的卸载决策建模为一个长期规划问题,并利用近期的深度强化学习来获得最优解。在为当前任务做决策时,它依据学到的卸载知识考虑后续任务未来的数据依赖性。此外,该框架支持在算力强大的边缘计算节点上进行预训练,并在车载服务执行时进行持续在线学习,从而能够适应环境变化并学习到事后看来合理的策略。仿真结果表明,KD服务卸载决策收敛迅速、适应不同条件,并且优于贪婪卸载决策算法。