面向自动驾驶中高效 POMDP 规划的在线信念预测学习
机器人学
2024-06-19 v2
摘要
自动驾驶中的有效决策依赖于对其他交通智能体未来行为的准确推断。为实现这一目标，我们提出了一种基于在线信念更新的行为预测模型以及一种用于部分可观察马尔可夫决策过程（POMDP）的高效规划器。我们开发了一个基于 Transformer 的预测模型，并通过循环神经记忆模型对其进行增强，以动态更新潜在信念状态并推断其他智能体的意图。该模型还能结合自车意图以反映智能体间的闭环交互，并且能够从离线数据和在线交互中进行学习。在规划方面，我们采用了带有宏动作的蒙特卡洛树搜索（MCTS）规划器，通过在时间延展的动作步骤上进行搜索来降低计算复杂度。在 MCTS 规划器内部，我们使用预测的长期多模态轨迹来近似未来的更新，从而消除迭代信念更新并提高运行效率。我们的方法还将深度 Q 学习（DQN）作为搜索先验融入其中，显著提升了 MCTS 规划器的性能。仿真环境下的实验结果验证了我们所提方法的有效性。在线信念更新模型能够显著提升预测的准确性和时间一致性，从而改善决策性能。在 MCTS 规划器中使用 DQN 作为搜索先验显著提升了其性能，并优于基于模仿学习的先验。此外，我们表明带有宏动作的 MCTS 规划在性能和效率上均大幅优于普通方法。
引用
@article{arxiv.2401.15315,
title = {Learning Online Belief Prediction for Efficient POMDP Planning in Autonomous Driving},
author = {Zhiyu Huang and Chen Tang and Chen Lv and Masayoshi Tomizuka and Wei Zhan},
journal= {arXiv preprint arXiv:2401.15315},
year = {2024}
}
备注
IEEE Robotics and Automation Letters