CausalAgents：基于因果关系的运动预测鲁棒性基准
机器学习
2022-10-10 v2 人工智能
机器人学
摘要
随着机器学习模型在自动驾驶车辆（AVs）运动预测中的应用日益广泛，确保模型预测的安全性与可靠性至关重要。然而，详尽地收集和标注用于充分测试罕见且具挑战性的长尾场景所需的数据既困难又昂贵。在本工作中，我们通过对现有数据施加扰动来构建一个新的基准，用于评估并提升模型鲁棒性。具体而言，我们开展了大规模的标注工作，在 Waymo Open Motion Dataset（WOMD）中识别因果智能体（即其存在以任何形式影响人类驾驶员行为的智能体），并利用这些标签通过从场景中删除非因果智能体来扰动数据。我们在所提出的基准上评估了一组多样化的前沿深度学习模型架构，发现所有模型即使在非因果扰动下也表现出较大的偏移：与原始数据相比，我们观察到 minADE 发生了 25-38% 的相对变化。我们还研究了提升模型鲁棒性的技术，包括增加训练数据集规模，以及使用在训练过程中随机丢弃非因果智能体的针对性数据增强。最后，我们发布了因果智能体标签（位于 https://github.com/google-research/causal-agents）作为 WOMD 的附加属性以及鲁棒性基准，以帮助社区构建更可靠、更安全的运动预测深度学习模型。
引用
@article{arxiv.2207.03586,
title = {CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships},
author = {Rebecca Roelofs and Liting Sun and Ben Caine and Khaled S. Refaat and Ben Sapp and Scott Ettinger and Wei Chai},
journal= {arXiv preprint arXiv:2207.03586},
year = {2022}
}
备注
Rebecca Roelofs and Liting Sun are equally contributed to the work