基于数字孪生的从仿真到真实世界自动驾驶强化学习
机器人学
2022-11-29 v1
摘要
强化学习（RL）是自动驾驶车辆应对复杂不确定交通环境的一种有前景的解决方案。然而，RL 训练过程昂贵、不安全且耗时。算法通常先在仿真中开发，再迁移至真实世界，导致常见的 sim2real 挑战：当领域变化时性能下降。本文中，我们提出一种迁移学习流程，通过利用数字孪生技术，依托来自车辆动力学与交通场景的虚拟与真实世界数据的系统性同步结合，以最小化该差距。模型与测试环境从模型、硬件在环演进至车辆在环与试验场测试阶段，类似于汽车工业的标准开发周期。特别地，我们在各阶段还集成了其他迁移学习技术，如域随机化与域适应。仿真与真实数据被逐步融入，以加速并令迁移学习过程更鲁棒。所提 RL 方法被应用于为一辆自动驾驶电动汽车开发路径跟随转向控制器。在车辆上学习并部署实时 RL 控制策略后，我们从首次部署即获得了令人满意且安全的控制性能，展示了所提基于数字孪生的学习流程的优势。
引用
@article{arxiv.2211.14874,
title = {Reinforcement Learning from Simulation to Real World Autonomous Driving using Digital Twin},
author = {Kevin Voogd and Jean Pierre Allamaa and Javier Alonso-Mora and Tong Duy Son},
journal= {arXiv preprint arXiv:2211.14874},
year = {2022}
}
备注
This work has been submitted to IFAC for possible publication