PreTraM：通过连接轨迹与地图的自监督预训练
计算机视觉与模式识别
2022-04-25 v1 人工智能
摘要
深度学习近期在轨迹预测中取得了显著进展。然而，轨迹数据的稀缺阻碍了数据饥渴的深度学习模型学习良好的表示。尽管计算机视觉和自然语言处理中存在成熟的表示学习方法，但这些预训练方法需要大规模数据。由于缺乏充足的轨迹数据（例如 nuScenes 数据集中的 34K 样本），很难在轨迹预测中复现这些方法。为规避轨迹数据的稀缺性，我们求助于另一种与轨迹密切相关且现有数据集中大量提供的数据模态——高清地图（HD-maps）。本文中，我们提出 PreTraM，一种通过连接轨迹与地图进行轨迹预测的自监督预训练方案。具体而言，PreTraM 包含两部分：1）轨迹-地图对比学习，其中我们通过跨模态对比学习将轨迹和地图投影到共享嵌入空间；2）地图对比学习，其中我们通过对大量高清地图的对比学习增强地图表示。在 AgentFormer 和 Trajectron++ 等流行基线之上，PreTraM 在具有挑战性的 nuScenes 数据集上相对提升了它们在 FDE-10 指标下 5.5% 和 6.9% 的性能。我们表明 PreTraM 提高了数据效率，并且随模型规模良好扩展。
引用
@article{arxiv.2204.10435,
title = {PreTraM: Self-Supervised Pre-training via Connecting Trajectory and Map},
author = {Chenfeng Xu and Tian Li and Chen Tang and Lingfeng Sun and Kurt Keutzer and Masayoshi Tomizuka and Alireza Fathi and Wei Zhan},
journal= {arXiv preprint arXiv:2204.10435},
year = {2022}
}
备注
The code is available at https://github.com/chenfengxu714/PreTraM.git