面向微型自动驾驶赛车比赛的仿真到实域迁移
人工智能
2020-11-12 v1 机器学习
摘要
仿真到实域（sim-to-real）是指在模拟器中训练模型再迁移到真实世界的一种技术，可加速深度强化学习（DRL）训练。然而，模拟器与真实世界之间的差异常导致模型在真实世界中表现不佳。域随机化（domain randomization）通过让模型接触多种场景来弥合仿真到实域的差距，从而泛化到真实情况。但依域随机化用 DRL 训练自动驾驶赛车模型会导致不良结果：经随机化训练的模型往往速度更慢，测试赛道上更高的完成率以更长的圈速为代价。本文旨在提升已训练赛车模型的鲁棒性而不牺牲圈速。对于形状相同（最优路径也相同）但光照、背景等不同的训练与测试赛道，我们先训练一个过拟合训练赛道、沿近最优路径行驶的教师模型，再用该模型在随机化下教导学生模型正确动作。我们的方法中，测试赛道完成率 18.4% 的模型能帮助教导出完成率 52% 的学生模型；且平均 50 次试验中，学生比教师快 0.23 秒完成一圈。在圈速约 10 至 12 秒的紧比赛中，这 0.23 秒差距十分显著。
引用
@article{arxiv.2011.05617,
title = {Sim-To-Real Transfer for Miniature Autonomous Car Racing},
author = {Yeong-Jia Roger Chu and Ting-Han Wei and Jin-Bo Huang and Yuan-Hao Chen and I-Chen Wu},
journal= {arXiv preprint arXiv:2011.05617},
year = {2020}
}