AgentFormer：用于社会时空多智能体预测的智能体感知 Transformer

预测多个智能体的准确未来轨迹对自主系统至关重要，但由于复杂的智能体交互及各智能体未来行为的不确定性而具有挑战性。多智能体轨迹预测需要建模两个关键维度：（1）时间维度，建模过去智能体状态对未来状态的影响；（2）社会维度，建模每个智能体状态如何影响其他智能体。大多数先前方法分别建模这两个维度，例如先用时间模型独立总结每个智能体随时间的特征，再用社会模型对总结后的特征交互建模。这种方法次优，因为沿时间或社会维度的独立特征编码会导致信息损失。相反，我们更希望有一种方法能让一个智能体在某一时刻的状态直接影响另一智能体在未来时刻的状态。为此，我们提出一种新的 Transformer——AgentFormer，联合建模时间与社会维度。该模型通过将跨时间和智能体的轨迹特征展平，得到多智能体轨迹的序列表示。由于标准注意力操作忽略序列中每个元素的智能体身份，AgentFormer 使用一种新颖的智能体感知注意力机制，通过以不同于其他智能体元素的方式处理同一智能体元素来保持智能体身份。基于 AgentFormer，我们提出一个随机多智能体轨迹预测模型，可在推断某智能体未来位置时关注任意智能体在任意先前时间步的特征。所有智能体的潜在意图也被联合建模，使一个智能体行为中的随机性可影响其他智能体。我们的方法在公认的行人与自动驾驶数据集上大幅提升了当前最优水平。