基于动作的对比学习用于轨迹预测
计算机视觉与模式识别
2022-07-19 v1
摘要
轨迹预测是成功的人机交互（如自动驾驶）中的一项基本任务。在本工作中，我们解决在带移动相机的第一人称视角设置下预测未来行人轨迹的问题。为此，我们提出了一种新颖的基于动作的对比学习损失，其利用行人动作信息来改进所学得的轨迹嵌入。这一新损失背后的基本理念是：执行相同动作的行人轨迹在特征空间中应比具有显著不同动作的行人轨迹彼此更靠近。换言之，我们认为关于行人动作的行为信息会影响其未来轨迹。此外，我们引入了一种新颖的轨迹采样策略，能够有效增加负对比样本和正对比样本。额外的合成轨迹样本使用训练好的条件变分自编码器（CVAE）生成，该编码器是若干为轨迹预测开发的模型的核心。结果表明，我们提出的对比框架有效利用了关于行人行为（即动作）的上下文信息，并学到了更好的轨迹表示。因此，将所提出的对比框架集成到轨迹预测模型中可改善其结果，并在三个轨迹预测基准 [31, 32, 26] 上优于 SOTA 方法。
引用
@article{arxiv.2207.08664,
title = {Action-based Contrastive Learning for Trajectory Prediction},
author = {Marah Halawa and Olaf Hellwich and Pia Bideau},
journal= {arXiv preprint arXiv:2207.08664},
year = {2022}
}
备注
This paper will appear in the proceedings of The European Conference on Computer Vision (ECCV 2022)