面向交通信号控制从仿真到实境迁移的不确定性感知接地动作变换
机器学习
2023-10-31 v3 人工智能
摘要
交通信号控制（TSC）是一项复杂且重要的任务，影响着数百万人的日常生活。强化学习（RL）在优化交通信号控制方面已显示出有前景的结果，但当前基于 RL 的 TSC 方法主要在仿真中训练，并受到仿真与真实世界之间性能差距的困扰。在本文中，我们提出了一种从仿真到真实世界（sim-to-real）的迁移方法 UGAT，该方法通过利用不确定性在仿真中动态变换动作，将仿真环境中学习到的策略迁移到真实世界环境，以缓解转移动力学的领域差距。我们在一个仿真交通环境中评估了我们的方法，结果表明它显著提升了迁移后 RL 策略在真实世界中的性能。
引用
@article{arxiv.2307.12388,
title = {Uncertainty-aware Grounded Action Transformation towards Sim-to-Real Transfer for Traffic Signal Control},
author = {Longchao Da and Hao Mei and Romir Sharma and Hua Wei},
journal= {arXiv preprint arXiv:2307.12388},
year = {2023}
}
备注
6 pages, 3 figures. This paper is accepted by IEEE-CDC 2023