基于扩展轨迹片段包的第一人称视频多人脸跟踪

可穿戴相机提供了一种免提方式来记录日常经历的第一人称图像，其中社会事件尤为引人关注。检测社会事件的第一步是跟踪其中涉及的多人的出现。本文提出一种新方法，用于在通过可穿戴相机获取的低时间分辨率第一人称视频中寻找多张人脸的对应关系。这类照片流相对于传统视频给多目标跟踪问题带来了额外挑战。由于相机的自由运动及其低时间分辨率，视场、光照条件和目标位置的突变极为频繁。为克服这些困难，我们提出了一种多人脸跟踪方法，该方法通过为每张检测到的人脸沿整个序列寻找对应关系生成一组轨迹片段（tracklet），并利用轨迹片段的冗余来处理不可靠的片段。相似的轨迹片段被分组为所谓的扩展轨迹片段包（extended bag-of-tracklets, eBoT），旨在对应于特定的人。最后，为每个 eBoT 提取一个原型轨迹片段，其中发生的遮挡通过一种新的置信度度量来估计。我们在一个广泛的第一人称照片流数据集上验证了该方法，并与最先进的方法进行比较，证明了其有效性与鲁棒性。