可信赖的人机协同：结合人类反馈与物理知识的强化学习实现安全自动驾驶
机器人学
2024-09-06 v2 人工智能
人机交互
机器学习
摘要
在自动驾驶领域，开发安全且可信赖的自动驾驶策略仍然是一项重大挑战。最近，基于人类反馈的强化学习（RLHF）因其在提升训练安全性和采样效率方面的潜力而备受关注。然而，现有的 RLHF 方法在面对不完美的人类演示时常常表现不佳，可能导致训练震荡，甚至性能不如基于规则的方法。受人类学习过程的启发，我们提出了物理增强的基于人类反馈的强化学习（PE-RLHF）。这一新颖框架将人类反馈（例如，人类干预和演示）与物理知识（例如，交通流模型）协同整合到强化学习的训练循环中。PE-RLHF 的关键优势在于，它能够保证所学策略的性能至少与给定的基于物理的策略一样好，即使在人类反馈质量下降时也是如此，从而确保可信赖的安全改进。PE-RLHF 引入了一种物理增强的人机协同（PE-HAI）协作范式，用于在人类动作和基于物理的动作之间进行动态选择；采用了一种基于代理价值函数的无奖励方法来捕捉人类偏好；并融入了一种最小干预机制以减轻人类导师的认知负荷。在多种驾驶场景下的大量实验表明，PE-RLHF 显著优于传统方法，在安全性、效率和泛化能力方面均达到了最先进（SOTA）的性能，即使面对不同质量的人类反馈也是如此。PE-RLHF 背后的理念不仅推动了自动驾驶技术的发展，还能为其他安全关键领域提供有价值的见解。演示视频和代码可在以下网址获取：\https://zilin-huang.github.io/PE-RLHF-website/
引用
@article{arxiv.2409.00858,
title = {Trustworthy Human-AI Collaboration: Reinforcement Learning with Human Feedback and Physics Knowledge for Safe Autonomous Driving},
author = {Zilin Huang and Zihao Sheng and Sikai Chen},
journal= {arXiv preprint arXiv:2409.00858},
year = {2024}
}
备注
33 pages, 20 figures