运动预测与规划的缩放律——技术报告

我们研究了一族编码器-解码器自回归 Transformer 模型在自动驾驶领域联合运动预测与规划任务上的经验缩放律。使用一个 50 万小时的驾驶数据集，我们证明，类似于语言建模，模型性能随总计算预算呈幂律函数提升，并且我们观察到模型训练损失与模型评估指标之间存在强相关性。最有趣的是，闭环指标也随缩放而改善，这对开环指标是否适用于模型开发和爬山算法具有重要意义。我们还研究了训练计算最优模型的 Transformer 参数数量和训练数据规模的最优缩放。我们发现，随着训练计算预算的增长，最优缩放要求模型大小的增长速度是数据集大小的 1.5 倍。我们还研究了推理时计算缩放，观察到对较小模型的输出进行采样和聚类使其能与较大模型竞争，直到一个交叉点，超过该点后较大的模型在推理计算效率上变得更高。总体而言，我们的实验结果表明，优化运动预测与规划模型的训练和推理时缩放特性是提升其性能以应对各种驾驶场景的关键杠杆。最后，我们简要研究了利用其他智能体的一般记录驾驶数据来训练模型，从而提升自车智能体性能的效用，这是一个重要的研究领域，旨在解决大容量模型训练面临的机器人数据稀缺问题。