通过潜在走廊进行自适应人类轨迹预测
计算机视觉与模式识别
2024-07-15 v2
摘要
人类轨迹预测通常被设定为零样本泛化问题：在训练场景的人类运动数据集上学习预测器，然后将其部署在未见的测试场景中。尽管这种范式取得了巨大进展，但它从根本上假设部署场景中人类行为的趋势随时间保持不变。因此，当前的预测模型无法适应场景特定的瞬时人类行为，例如人群暂时聚集观看街头艺人、行人在雨中匆忙穿行并避开积水，或突发抗议活动。我们形式化了场景特定自适应轨迹预测问题，并提出了一种受提示微调启发的称为潜在走廊的新自适应方法。通过用可学习的图像提示增强任何预训练人类轨迹预测器的输入，该预测器可以通过从极少量新数据（例如，观察到2个人30秒）中推断趋势来在部署场景中得到改进。使用不到0.1%的额外模型参数，我们在 MOTSynth 模拟数据中观察到高达23.9%的 ADE 提升，在 MOT 和 Wildtrack 真实行人数据中观察到16.4%的 ADE 提升。定性地，我们观察到潜在走廊赋予了预测器对场景几何和场景特定人类行为的感知能力，而这些是非自适应预测器难以捕获的。项目网站可在 https://neerja.me/atp_latent_corridors/ 找到。
引用
@article{arxiv.2312.06653,
title = {Adaptive Human Trajectory Prediction via Latent Corridors},
author = {Neerja Thakkar and Karttikeya Mangalam and Andrea Bajcsy and Jitendra Malik},
journal= {arXiv preprint arXiv:2312.06653},
year = {2024}
}
备注
Accepted to ECCV 2024. Project website can be found at https://neerja.me/atp_latent_corridors/