通过离散潜在码的低秩适应进行轨迹预测

轨迹预测对于视频监控分析至关重要，因为它能够预测一组智能体（例如，参与复杂交互并具有长期意图的篮球运动员）的未来运动。深度生成模型为轨迹预测提供了一种自然的学习方法，但它们在实现采样保真度和多样性之间的最佳平衡方面遇到困难。我们通过利用向量量化变分自编码器（VQ-VAE）来解决这一挑战，该自编码器利用离散潜在空间来解决后验崩溃问题。具体来说，我们引入了一个基于实例的码本，允许为每个示例定制潜在表示。简而言之，码本的行被动态调整以反映上下文信息（即从观测轨迹中提取的过去运动模式）。这样，离散化过程获得了灵活性，从而改进了重建。值得注意的是，实例级动态通过低秩更新注入到码本中，这将码本的定制限制在较低维空间。得到的离散空间作为后续步骤的基础，即训练基于扩散的预测模型。我们表明，这种增强实例级离散化的双重框架能够产生准确且多样化的预测，在三个已建立的基准上实现了最先进的性能。