CRITERIA：一种用于评估自动驾驶轨迹预测模型的新基准范式
计算机视觉与模式识别
2024-08-20 v2 机器学习
机器人学
摘要
基准测试是评估自动驾驶轨迹预测模型的常用方法。现有基准依赖于数据集，这些数据偏向于更常见的场景（如巡航），以及通过对所有场景取平均计算的距离度量。遵循这样一种范式，对于模型如何处理不同场景以及其输出有多可接受和多样化，几乎不能提供洞察。现有许多互补度量旨在衡量轨迹的可接受性和多样性，但它们存在偏差，例如轨迹长度偏差。在本文中，我们提出一种新的用于评估轨迹预测方法的基准范式（CRITERIA）。具体而言，我们提出：1）一种根据道路结构、模型性能和数据特性提取不同特异性级别驾驶场景的方法，用于对预测模型进行细粒度排序；2）一组新的无偏度量，通过结合给定场景特征来衡量多样性，并通过考虑道路结构和运动学合规性（受真实驾驶约束启发）来衡量可接受性；3）使用所提出的基准，基于大规模Argoverse数据集对一组具有代表性的预测模型进行广泛实验。我们表明，所提出的基准能够产生更准确的模型排序，并可作为刻画其行为的一种手段。我们进一步给出消融研究，以凸显用于计算所提度量的不同元素的贡献。
引用
@article{arxiv.2310.07794,
title = {CRITERIA: a New Benchmarking Paradigm for Evaluating Trajectory Prediction Models for Autonomous Driving},
author = {Changhe Chen and Mozhgan Pourkeshavarz and Amir Rasouli},
journal= {arXiv preprint arXiv:2310.07794},
year = {2024}
}