追踪真实场景中的虚拟会议：多参与者虚拟会议中的重识别

近年来，工作场所和教育机构广泛采用了虚拟会议平台。这导致了对分析和提取这些会议见解的兴趣日益增长，这需要有效检测和跟踪独特的个体。实际上，视频会议录制布局以及在不同平台和服务上的捕获方式没有标准化。这反过来给以统一方式获取和分析该数据流带来了挑战。我们的方法为最通用的视频录制形式提供了解决方案，该形式通常由来自单个视频源的参与者网格组成，没有关于参与者位置的元数据，同时对数据获取方式使用了最少的约束和假设。传统方法通常使用YOLO模型结合跟踪算法，假设类似于CCTV录像中观察到的线性运动轨迹。然而，这种假设在虚拟会议中不成立，因为参与者视频馈送窗口可能在网格上突然改变位置。在自然的虚拟会议环境中，参与者频繁加入和离开，导致视频网格上出现突然的非线性运动。这破坏了依赖于线性运动的光流跟踪方法。因此，标准的目标检测和跟踪方法可能错误地将多个参与者分配给同一个跟踪器。在本文中，我们介绍了一种新颖的方法，通过利用我们领域中数据产生的时空先验，来跟踪和重识别远程视频会议中的参与者。这反过来提高了跟踪能力，相比于使用通用目标跟踪。与基于YOLO的跟踪方法作为基线相比，我们的方法平均将错误率降低了95%。