基于学习的联合深度压缩与增强视频编码
图像与视频处理
2022-05-03 v2 计算机视觉与模式识别
摘要
端到端基于学习的视频压缩通过将视频信号压缩为堆叠的视觉特征提供了另一种途径，已引起广泛关注。本文提出一种高效的端到端深度视频编解码器，具有联合优化的压缩与增强模块（JCEVC）。首先，我们提出双路径生成对抗网络（DPEG）以在压缩后重建视频细节。α-路径借助大感受野与多帧参考促进结构信息重建，而 β-路径促进局部纹理重建。两路径在生成-对抗过程中融合并协同训练。其次，我们在运动补偿与质量增强模块中复用 DPEG 网络，并将其与其他必要模块结合以构建我们的 JCEVC 框架。第三，我们采用深度视频压缩与增强的联合训练，进一步改善压缩的率失真（RD）性能。与 x265 LDP very fast 模式相比，我们的 JCEVC 在相同 PSNR/MS-SSIM 下将平均每像素比特数（bpp）降低 39.39%/54.92%，以显著优势超越最先进的深度视频编解码器。
引用
@article{arxiv.2111.14474,
title = {Learning-Based Video Coding with Joint Deep Compression and Enhancement},
author = {Tiesong Zhao and Weize Feng and Hongji Zeng and Yuzhen Niu and Jiaying Liu},
journal= {arXiv preprint arXiv:2111.14474},
year = {2022}
}
备注
10 pages, 9 figures