基于单帧的深度视图同步用于非同步多摄像头监控

多摄像头监控一直是理解与建模场景的活跃研究课题。相较于单摄像头，多摄像头提供更广阔的视野与更多目标线索，相关应用包括多视角计数、多视角跟踪、3D 姿态估计或 3D 重建等。在设计这些基于多摄像头的任务模型时，通常假定各摄像头在时间上完全同步。然而，该假设并非总成立，尤其对于因网络传输延迟与有限网络带宽导致低帧率的多摄像头系统，会造成跨摄像头所捕获帧的失同步。为处理非同步多摄像头问题，本文提出一种与现有基于 DNN 的多视角模型协同工作的同步模型，从而避免对整个模型的重新设计。在低帧率情形下，我们假定各视角仅有一帧相关图像可用，并借助对极几何引导的图像内容匹配实现同步。我们考虑模型的两种变体，依据同步在流程中发生的位置分为场景级同步与摄像头级同步。视图同步步骤与任务特定的视图融合及预测步骤统一于同一框架，并以端到端方式训练。我们的视图同步模型被应用于非同步设定下不同基于 DNN 的多摄像头视觉任务，包括多视角计数与 3D 姿态估计，相较基线取得了良好性能。