面向低码率监控视频压缩的生成式先记忆后回忆框架
图像与视频处理
2020-05-07 v3 计算机视觉与模式识别
机器学习
摘要
近年来，监控视频的应用为保护公共安全和日常生活迅速发展，其通常对视频序列中的物体进行检测与识别。传统编码框架通过分块运动补偿去除监控视频中的时间冗余，缺乏对固有结构信息的提取与利用。本文通过将监控视频解耦为图像组(GoP)的全局时空特征结构（记忆）与每帧的骨架（线索）来解决此问题。记忆通过将GoP内帧顺序输入循环神经网络获得，描述GoP内出现物体的表观。而骨架由姿态估计器计算，被视为回忆记忆的线索。此外，引入注意力机制以获取表观与骨架间的关系。最后，我们采用生成对抗网络重建每帧。实验结果表明，我们的方法基于表观与骨架有效生成逼真重建，与最新视频压缩标准H.265相比在监控视频上展现出高得多的压缩性能。
引用
@article{arxiv.1912.12847,
title = {Generative Memorize-Then-Recall framework for low bit-rate Surveillance Video Compression},
author = {Yaojun Wu and Tianyu He and Zhibo Chen},
journal= {arXiv preprint arXiv:1912.12847},
year = {2020}
}
备注
11 pages, 8 figures