基于深度卷积神经网络学习虚拟编解码器以压缩图像

尽管深度卷积神经网络已被证明能有效消除传统编解码器粗量化所引起的编码伪影，但由于梯度反向传播困难，难以在编码器前训练任何神经网络。本文提出一种基于卷积神经网络的端到端图像压缩框架，以解决标准编解码器中量化函数不可微的问题。首先，利用特征描述神经网络针对真值图像在低维空间获得有效描述，从而大幅减少用于存储或传输的图像数据量。在获得图像有效描述后，利用 JPEG 等标准图像编解码器进一步压缩图像，这会导致严重的图像失真与压缩伪影，尤其是块效应、细节丢失、模糊和振铃伪影。随后，我们使用后处理神经网络去除这些伪影。鉴于直接基于卷积神经网络学习标准编解码器的非线性函数存在挑战，我们提出学习一个虚拟编解码器神经网络来近似从有效描述图像到后处理压缩图像的映射，从而使梯度能在训练中从后处理神经网络高效反传至特征描述神经网络。同时，提出一种先进的学习算法来训练我们的深度神经网络以进行压缩。显然，所提方法的优势在于与现有标准编解码器兼容，且我们的学习策略可轻易扩展至这些基于卷积神经网络的编解码器。实验结果表明，与几种最先进（SOTA）方法相比，所提方法具有优越性，尤其在极低码率下。