面向自动驾驶的联邦迁移强化学习
机器学习
2019-10-15 v1 人工智能
机器人学
摘要
强化学习（RL）被广泛用于自动驾驶任务，训练 RL 模型通常涉及一个多步过程：在模拟器上预训练 RL 模型，将预训练模型上传至真实机器人，并在机器人车辆上微调权重参数。这一顺序过程极为耗时，更重要的是，来自微调模型的知识停留在本地，无法被复用或协作利用。为应对该问题，我们提出了一种在线联邦 RL 迁移过程，用于实时知识提取，其中所有参与智能体利用他人学到的知识做出相应动作，即便它们所处的环境差异很大。为验证所提方法的有效性，我们构建了基于 Microsoft Airsim 模拟器和 NVIDIA JetsonTX2 小车智能体的真实避撞系统，该系统在室内含障碍物的环境中从零开始协作学习以避免碰撞。我们证明，借助所提框架，模拟器小车智能体可实时将知识迁移至 RC 小车，与障碍物的平均距离增加 27%，碰撞次数减少 42%。
引用
@article{arxiv.1910.06001,
title = {Federated Transfer Reinforcement Learning for Autonomous Driving},
author = {Xinle Liang and Yang Liu and Tianjian Chen and Ming Liu and Qiang Yang},
journal= {arXiv preprint arXiv:1910.06001},
year = {2019}
}