开放世界运动预测

运动预测旨在预测场景中动态代理人未来的轨迹，从而使自动驾驶车辆能够有效地推理场景的演变。现有方法在封闭世界假设下运行，假设固定的对象分类并获取高质量的感知。因此，它们在感知不完美且对象分类随时间演变的真实场景中难以胜任。本文通过引入开放世界运动预测（open-world motion forecasting）这一新设定来弥合这一根本性差距，其中新对象类随时间顺序引入，未来对象轨迹直接从摄像头图像中估计。我们通过提出首个端到端类递增运动预测框架来应对该设定，以缓解灾难性遗忘，同时同时学习预测新引入类的轨迹。当引入新类别时，我们的框架采用伪标签策略，首先为所有已知类别生成运动预测伪标签，然后由视觉语言模型筛选不一致且过于自信的预测。并行地，我们的方法通过一种新颖的重放采样策略来缓解灾难性遗忘，该策略利用查询特征方差对具有信息性运动模式的先前序列进行采样。在nuScenes和Argoverse 2数据集上的广泛评估表明，我们的方法成功抵抗了灾难性遗忘，在保持对先前学习类别性能的同时，提高了对新类别的适应性。进一步地，我们展示了该方法支持对真实驾驶的零样迁移，并自然地扩展到端到端类递增规划，实现对完整自动驾驶系统的持续适应。我们提供的代码位于https://omen.cs.uni-freiburg.de。