T4P: 通过掩码自编码器和特定智能体令牌记忆实现轨迹预测的测试时训练

轨迹预测是一个具有挑战性的问题，需要考虑多个智能体之间以及周围环境的交互。虽然数据驱动方法已被用于解决这一复杂问题，但它们在测试时分布偏移下会出现不可靠的预测。因此，利用轨迹预测任务的自标注性质，基于观测数据真实值的回归损失，已经提出了几种在线学习方法。我们主要解决以下两个问题。首先，先前的工作由于只优化运动解码器的最后一层而存在欠拟合和过拟合。为此，我们采用掩码自编码器（MAE）进行表示学习，以鼓励在偏移的测试分布中进行复杂的交互建模，从而更新更深层。其次，利用驾驶数据的序列性质，我们提出了一种特定智能体令牌记忆，使得能够测试时学习智能体特定的运动特征。我们提出的方法已在各种具有挑战性的跨数据集分布偏移场景（包括nuScenes、Lyft、Waymo和Interaction）中得到验证。我们的方法在预测精度和计算效率方面均超越了现有最先进的在线学习方法。代码可在https://github.com/daeheepark/T4P获取。