AVDDPG：应用于自动驾驶编队控制的联邦强化学习
机器学习
2022-07-11 v1 人工智能
摘要
自 2016 年以来，联邦学习（FL）一直是人工智能（AI）研究界不断演进的讨论话题。FL 的应用催生了对联邦强化学习（FRL）的开发与研究。关于 FRL 应用于自动驾驶车辆（AV）编队的工作很少。此外，大多数 FRL 工作选择单一的聚合方法（通常是权重或梯度聚合）。我们通过在一个定制的 AV 编队环境中设计并实施一个 FRL 框架，探索 FRL 作为改善 AV 编队有效性的手段。AV 编队中 FRL 的应用在两种场景下被研究：（1）编队间 FRL（Inter-FRL），其中 FRL 应用于不同编队间的 AV；（2）编队内 FRL（Intra-FRL），其中 FRL 应用于单个编队内的 AV。Inter-FRL 与 Intra-FRL 均使用梯度与权重聚合应用于定制的 AV 编队环境，以观察 FRL 相对于未经 FRL 训练的 AV 编队环境所能产生的性能影响。结论是，使用权重聚合的 Intra-FRL（Intra-FRLWA）为控制 AV 编队提供了最佳性能。此外，我们发现 FRL 中用于 AV 编队的权重聚合相对于梯度聚合带来了性能提升。最后，对 Intra-FRLWA 与未经 FRL 训练的编队环境在长度为 3、4 和 5 辆车的编队上进行了性能分析。结论是 Intra-FRLWA 大幅优于未经 FRL 训练的编队环境。
引用
@article{arxiv.2207.03484,
title = {AVDDPG: Federated reinforcement learning applied to autonomous platoon control},
author = {Christian Boin and Lei Lei and Simon X. Yang},
journal= {arXiv preprint arXiv:2207.03484},
year = {2022}
}