SiEVE：边缘与云上的语义编码视频分析
分布式、并行与集群计算
2020-06-03 v1 多媒体
摘要
计算机视觉和神经网络的最新进展使得更多的监控视频可以通过算法而非人工进行自动搜索和分析。这与边缘计算的进步同时发生，在边缘计算中，视频通过包含靠近视频源的边缘设备的分层集群进行分析。然而，当前的视频分析流水线在应对这些进展时存在几个缺点。例如，长期以来视频编码器的设计都是为了取悦人类观看者，而对下游分析任务（例如，目标检测）一无所知。此外，大多数视频分析系统采用两层架构，将编码后的视频发送到远程云或私有边缘服务器，但未能有效利用两者。为了应对这些进展，我们提出了 SIEVE，一个三层视频分析系统，以减少视频流分析的延迟并提高吞吐量。在 SIEVE 中，我们提出了一种在压缩视频流中检测目标的新技术。我们将此技术称为语义视频编码，因为它使视频编码器能够感知下游任务（例如，目标检测）的语义。我们的结果表明，通过利用语义视频编码，我们实现了接近 100% 的目标检测准确率，且仅解压缩了 3.5% 的视频帧，与解压缩每个视频帧的经典方法相比，实现了超过 100 倍的加速。
引用
@article{arxiv.2006.01318,
title = {SiEVE: Semantically Encoded Video Analytics on Edge and Cloud},
author = {Tarek Elgamal and Shu Shi and Varun Gupta and Rittwik Jana and Klara Nahrstedt},
journal= {arXiv preprint arXiv:2006.01318},
year = {2020}
}