知识图谱驱动的视频流表示方法用于复杂事件处理中的时空事件模式匹配

复杂事件处理（CEP）是一种对流式数据执行实时分析并匹配高层事件模式的事件处理范式。目前，CEP 仅限于处理结构化数据流。视频流因其非结构化数据模型而复杂，限制了 CEP 系统对其执行匹配。本文引入一种面向持续演化的视频流的基于图的结构，使 CEP 系统能够查询复杂视频事件模式。我们提出视频事件知识图谱（VEKG），一种图驱动的视频数据表示。VEKG 将视频对象建模为节点，将其随时间与空间的关系交互建模为边。它利用深度学习模型集成从视频中检测高层语义概念，由此创建视频数据的语义知识表示。提出一种基于 CEP 的状态优化方法——VEKG 时间聚合图（VEKG-TAG）用于 VEKG 表示之上的更快事件检测。VEKG-TAG 是一种时空图聚合方法，可在给定时间长度上提供 VEKG 图的概要视图。我们针对两个领域（活动识别与交通管理）定义了九条事件模式规则作为查询，并应用于 VEKG 图以发现复杂事件模式。为展示方法有效性，我们在跨 10 个数据集的 801 个视频片段上进行了大量实验。所提 VEKG 方法与其他最先进方法比较，能够以 0.44 至 0.90 的 F 值检测视频中的复杂事件模式。在给定实验中，优化后的 VEKG-TAG 能够分别减少 99% 和 93% 的 VEKG 节点与边，搜索速度加快 5.19 倍，实现了 4–20 毫秒的中位亚秒级延迟。