FrameRS：由自监督视频帧重建器与关键帧选择器组成的视频帧压缩模型
计算机视觉与模式识别
2023-09-19 v1
摘要
在本文中，我们提出帧重建模型：FrameRS。它由自监督视频帧重建器和关键帧选择器组成。帧重建器 FrameMAE 通过改编用于图像的掩码自编码器（MAE）的原理以适应视频场景而开发。关键帧选择器 Frame Selector 基于 CNN 架构构建。通过以 FrameMAE 编码器的高层语义信息作为输入，它可以以较低的计算成本预测关键帧。结合我们定制的 Frame Selector，FrameMAE 可通过保留约 30% 的关键帧来有效压缩视频片段。在性能方面，我们的模型展现出计算效率与具有竞争力的准确率，较传统关键帧提取算法有显著改进。实现代码已在 Github 上提供。
引用
@article{arxiv.2309.09083,
title = {FrameRS: A Video Frame Compression Model Composed by Self supervised Video Frame Reconstructor and Key Frame Selector},
author = {Qiqian Fu and Guanhong Wang and Gaoang Wang},
journal= {arXiv preprint arXiv:2309.09083},
year = {2023}
}