通过内容自适应超分辨率实现高效视频压缩
计算机视觉与模式识别
2021-04-07 v1 人工智能
机器学习
图像与视频处理
摘要
视频压缩是互联网视频传输的关键组成部分。近期工作表明深度学习技术可与人工设计算法媲美甚至更优，但这些方法在计算与功耗效率上显著逊于现有编解码器。本文提出一种新方法，以小型内容自适应超分辨率模型增强现有编解码器，显著提升视频质量。我们的方法 SRVC 将视频编码为两个码流：(i) 内容码流，由现有编解码器压缩下采样低分辨率视频得到；(ii) 模型码流，编码针对视频短片段定制的轻量超分辨率神经网络的周期性更新。SRVC 将解压后的低分辨率视频帧通过该（时变）超分辨率模型以重建高分辨率视频帧。我们的结果显示，为达到相同 PSNR，SRVC 所需每像素比特数仅为慢速模式 H.265 的 16%，以及近期基于深度学习的视频压缩方案 DVC 的 2%。SRVC 在 NVIDIA V100 GPU 上以每秒 90 帧运行。
引用
@article{arxiv.2104.02322,
title = {Efficient Video Compression via Content-Adaptive Super-Resolution},
author = {Mehrdad Khani and Vibhaalakshmi Sivaraman and Mohammad Alizadeh},
journal= {arXiv preprint arXiv:2104.02322},
year = {2021}
}