视频流上的时态查询评估

计算机视觉与深度学习的最新进展使得从流式视频帧中高效提取模式成为可能。由此可生成对象流及其关联类别，并通过对象追踪得到唯一对象标识符，从而提供跨帧捕获到的唯一对象。本文首次研究涉及视频流中对象及其共现的时态查询。例如，识别出同一两辆红色汽车与同一两人在五分钟内共同出现的视频片段，这类查询在从执法到安全与保障的诸多应用中都备受关注。我们迈出第一步，以纳入对象遮挡等视频捕获物理特性的方式定义此类查询。我们提出一种由对象检测/追踪、中间数据生成与查询评估三层组成的架构。我们提出两种技术 MFS 和 SSG，用于在中间数据生成层组织所有检测到的对象，从而在给定查询的情况下，有效最小化查询评估时必须考虑的对象与帧数。我们还引入一种称为状态遍历（State Traversal, ST）的算法，该算法针对 SSG 处理 incoming 帧，高效剪枝与查询评估无关的对象与帧，同时维护简洁查询评估所需的全部状态。我们利用真实与合成数据给出了详尽实验评估的结果，确立了 MFS 与 SSG 之间的权衡。我们在评估中强调了多个感兴趣的参数，并证明所提出的查询评估方法与所提算法能够高效评估视频流上的时态查询，获得数量级的性能收益。