SmartPretrain：面向运动预测的模型无关且数据集无关的表征学习
计算机视觉与模式识别
2025-02-28 v2 人工智能
机器人学
摘要
预测周围 agent 的未来运动是自动驾驶车辆在动态、人类-机器人混合环境中安全运行的关键。然而，大规模驾驶数据集的稀缺阻碍了健壮且可泛化的运动预测模型的开发，限制了其捕捉复杂相互作用和道路几何结构的能力。受自然语言处理 (NLP) 和计算机视觉 (CV) 最近进步的启发，自监督学习 (SSL) 在运动预测社区中获得了重要关注，用于学习丰富且可迁移的场景表征。然而，现有的运动预测预训练方法主要聚焦于特定模型架构和单个数据集，限制了其可扩展性和可泛化性。为此，我们提出了 SmartPretrain，这是一种通用且可扩展的 SSL 框架，用于运动预测，既模型无关又数据集无关。我们的方法整合了对比学习和重构式 SSL，利用生成式和判别式范式的优势，有效地表示时空演化和相互作用，而无需施加架构限制。此外，SmartPretrain 采用数据集无关的情景抽样策略，将多个数据集整合在一起，增强数据量、多样性和鲁棒性。在多个数据集上的大量实验表明，SmartPretrain 在数据集、数据划分和主要指标上一致地提高了最先进预测模型的性能。例如，SmartPretrain 将 Forecast-MAE 的 MissRate 降低了 10.6%。这些结果凸显了 SmartPretrain 作为统一、可扩展的运动预测解决方案的有效性，突破了小数据 regime 的局限性。代码已公开 https://github.com/youngzhou1999/SmartPretrain
引用
@article{arxiv.2410.08669,
title = {SmartPretrain: Model-Agnostic and Dataset-Agnostic Representation Learning for Motion Prediction},
author = {Yang Zhou and Hao Shao and Letian Wang and Steven L. Waslander and Hongsheng Li and Yu Liu},
journal= {arXiv preprint arXiv:2410.08669},
year = {2025}
}
备注
Camera-ready version for ICLR 2025