学习压缩（LtC）：基于高效学习的流式视频分析
图像与视频处理
2023-07-27 v2 机器学习
摘要
视频分析常以云服务形式在边缘环境中执行，主要为了卸载计算，也用于分析结果不直接在视频传感器端消费的场景。从边缘设备发送高质量视频数据在带宽与功耗上均可能代价高昂。为构建高效利用这些资源的流式视频分析流水线，缩减视频流大小势在必行。传统视频压缩算法不了解视频语义，可能对分析性能既低效又有害。本文引入 LtC，一种视频源与分析服务器间的协作框架，可在分析流水线中高效学习缩减视频流。具体而言，LtC 在服务器端使用完备的分析算法作为教师来训练轻量学生神经网络，随后部署于视频源。该学生网络经训练以理解视频中不同区域的语义重要性，据此以高质量差异化保留关键区域，其余区域则进行激进压缩。此外，LtC 还结合一种基于特征差分的新颖时间滤波算法，以省略传输无新信息贡献的帧。总体而言，与近期发表的最先进流式框架相比，LtC 在取得相似分析性能的同时，带宽使用减少 28–35%，响应延迟最高缩短 45%。
引用
@article{arxiv.2307.12171,
title = {Learn to Compress (LtC): Efficient Learning-based Streaming Video Analytics},
author = {Quazi Mishkatul Alam and Israat Haque and Nael Abu-Ghazaleh},
journal= {arXiv preprint arXiv:2307.12171},
year = {2023}
}