JointMotion：用于联合运动预测的联合自监督学习
计算机视觉与模式识别
2024-10-24 v2 机器人学
摘要
我们提出了 JointMotion，一种用于自动驾驶车辆联合运动预测的自监督预训练方法。我们的方法联合优化了连接运动与环境的场景级目标，以及用于细化学习表示的实例级目标。场景级表示是通过对过去运动序列和环境上下文进行非对比相似度学习而习得的。在实例级别，我们使用掩码自编码来细化多模态折线表示。我们以自适应预训练解码器作为补充，使 JointMotion 能够泛化到不同的环境表示、融合机制和数据集特征。值得注意的是，我们的方法分别将 Wayformer、HPTR 和 Scene Transformer 模型的联合最终位移误差降低了 3\%、8\% 和 12\%；并实现了在 Waymo Open Motion 和 Argoverse 2 Motion Forecasting 数据集之间的迁移学习。代码：https://github.com/kit-mrt/future-motion
引用
@article{arxiv.2403.05489,
title = {JointMotion: Joint Self-Supervision for Joint Motion Prediction},
author = {Royden Wagner and Omer Sahin Tas and Marvin Klemp and Carlos Fernandez},
journal= {arXiv preprint arXiv:2403.05489},
year = {2024}
}
备注
CoRL'24 camera-ready