基于中层输入生成的层级生成对抗模仿学习用于城市环境自动驾驶
机器学习
2024-09-06 v5 人工智能
机器人学
摘要
为真实城市场景导航推导鲁棒的控制策略并非易事。在端到端方法中，这些策略必须将车辆摄像头的高维图像映射为转向和油门等底层动作。纯强化学习(RL)方法完全基于人工设计的奖励，而生成对抗模仿学习(GAIL)智能体在与环境交互的同时从专家示范中学习，这在奖励信号难以推导的任务（如自动驾驶）上有利于GAIL。然而，在RL任务中直接从原始图像训练深度网络已知是不稳定且困难的。为此，本文提出一种基于GAIL的层级架构(hGAIL)，将表征学习从驾驶任务中解耦以解决车辆自主导航问题。所提架构由两个模块组成：一个生成抽象中层输入表征（即车辆周边鸟瞰图(BEV)）的GAN（生成对抗网络）；以及基于GAN预测的BEV作为输入来学习控制车辆的GAIL。hGAIL能够在智能体与环境交互时同时学习策略和中间层表征。我们在CARLA仿真环境中的实验表明，仅从摄像头（无BEV）的GAIL甚至无法学会该任务，而hGAIL在仅于一座城市训练后，能在训练阶段未使用的新城市98%的路口成功自主导航。视频与代码见：https://sites.google.com/view/hgail
引用
@article{arxiv.2302.04823,
title = {Hierarchical Generative Adversarial Imitation Learning with Mid-level Input Generation for Autonomous Driving on Urban Environments},
author = {Gustavo Claudio Karl Couto and Eric Aislan Antonelo},
journal= {arXiv preprint arXiv:2302.04823},
year = {2024}
}