基于时空深度嵌入从高角度视频重建车辆轨迹
计算机视觉与模式识别
2024-03-07 v1 人工智能
摘要
基于时空图（STMap）的方法在处理高角度视频以重建车辆轨迹方面展现出巨大潜力，可满足各种数据驱动建模与模仿学习应用的需求。本文中，我们开发了时空深度嵌入（STDE）模型，该模型在像素和实例两个层面施加奇偶约束，以生成实例感知嵌入用于 STMap 上的车辆条纹分割。在像素层面，每个像素以其不同范围的 8 邻域像素进行编码，该编码随后用于引导神经网络学习嵌入机制。在实例层面，设计了一种判别性损失函数，以在嵌入空间中将属于同一实例的像素拉近，并将不同实例的均值推远。时空亲和力的输出随后由互斥分水岭（mutex-watershed）算法优化以获得最终聚类结果。基于分割指标，我们的模型优于其他五种曾用于 STMap 处理的基线方法，并在阴影、静态噪声和重叠影响下表现出鲁棒性。所设计模型应用于处理所有公开 NGSIM US-101 视频以生成完整车辆轨迹，显示出良好的可扩展性与适应性。最后，讨论了扫描线方法与 STDE 结合的优势及未来方向。代码、STMap 数据集与视频轨迹已在在线仓库公开。GitHub 链接：shorturl.at/jklT0。
引用
@article{arxiv.2209.08417,
title = {Spatial-Temporal Deep Embedding for Vehicle Trajectory Reconstruction from High-Angle Video},
author = {Tianya T. Zhang Ph. D. and Peter J. Jin Ph. D. and Han Zhou and Benedetto Piccoli and Ph. D},
journal= {arXiv preprint arXiv:2209.08417},
year = {2024}
}