通过观察学习

当处于新情境或地理位置时，人类驾驶员具备一种非凡的能力：观察他人并学习其自身可能从未执行过的操纵动作。相比之下，现有的驾驶学习方法排除了这种可能性，因为它们假设可直接访问装备了传感器的自车，且具备完全已知的观测与专家驾驶员动作。然而，在观察他人学习时，对于非自车车辆无法直接获取此类测量值。因此，在数据被视为极具价值资产的应用中，当前方法完全丢弃了可通过间接观测周围车辆潜在获得的大量训练数据。受这一关键洞察的驱动，我们提出“通过观察学习”（Learning by Watching, LbW）框架，其能够在无需完全知晓状态与专家动作的情况下学习驾驶策略。为增加其数据（即获得新视角与操纵动作），LbW 利用给定场景中其他车辆的演示，通过 (1) 将自车的观测转换至它们的视角，以及 (2) 推断它们的专家动作。我们的 LbW 智能体学习到更鲁棒的驾驶策略，同时实现数据高效学习，包括对罕见与新异场景的策略快速适配。具体而言，即便仅使用现有方法所需可用驾驶数据的一小部分，LbW 仍能稳健驾驶，在原始 CARLA 基准上以仅 30 分钟总驾驶数据取得 92% 的平均成功率，以仅 10 分钟取得 82%。