基于时空先验的神经网络视频压缩
图像与视频处理
2019-02-22 v2
摘要
对更高压缩效率的追求持续推动着视频编码技术的发展。从根本上说，我们希望找到先前已重建的更好的“预测”或“先验”，以有效去除信号依赖性并准确建模信号分布用于熵编码。在本工作中，我们提出一种神经视频压缩框架，独立且联合地利用空间和时间先验，以挖掘帧内纹理、基于光流的时间运动以及残差中的相关性。空间先验由下采样的低分辨率特征生成，而时间先验（来自先前的参考帧和残差）通过基于卷积神经网络的长期短期记忆（ConvLSTM）结构以时间循环方式捕获。所有这些部分连接并联合训练，以实现最优率失真性能。与高效视频编码（HEVC）主档（MP）相比，我们的方法在标准通用测试序列上展示了平均 38% 的 Bjontegaard-Delta 码率（BD-Rate）提升，其中失真采用多尺度结构相似性（MS-SSIM）度量。
引用
@article{arxiv.1902.07383,
title = {Neural Video Compression using Spatio-Temporal Priors},
author = {Haojie Liu and Tong Chen and Ming Lu and Qiu Shen and Zhan Ma},
journal= {arXiv preprint arXiv:1902.07383},
year = {2019}
}