中文

EVC:基于掩码衰减的实时神经图像压缩

图像与视频处理 2023-02-13 v1 计算机视觉与模式识别 多媒体

摘要

神经图像压缩在率失真(RD)性能上已超越最先进的传统编解码器(H.266/VVC),但存在复杂度高以及针对不同率失真权衡需使用独立模型的问题。本文提出一种高效单模型可变码率编解码器(EVC),其能以 30 FPS 处理 768x512 输入图像,且在 RD 性能上仍优于 VVC。通过进一步降低编码器与解码器复杂度,我们的小模型甚至能以 30 FPS 处理 1920x1080 输入图像。为弥合不同容量模型间的性能差距,我们精心设计了掩码衰减,可自动将大模型参数转化为小模型。并提出了一种新颖的稀疏正则化损失以缓解 LpL_p 正则化的缺陷。我们的算法分别将中等与小模型的性能差距显著缩小了 50% 与 30%。最后,我们倡导用于神经图像压缩的可伸缩编码器。其编码复杂度动态可调以满足不同延迟需求。我们提出对大型编码器多次衰减以逐步降低残差表示。掩码衰减与残差表示学习均大幅提升了可伸缩编码器的 RD 性能。我们的代码见 https://github.com/microsoft/DCVC。

关键词

引用

@article{arxiv.2302.05071,
  title  = {EVC: Towards Real-Time Neural Image Compression with Mask Decay},
  author = {Guo-Hua Wang and Jiahao Li and Bin Li and Yan Lu},
  journal= {arXiv preprint arXiv:2302.05071},
  year   = {2023}
}

备注

Accepted by ICLR 2023. Codes are at https://github.com/microsoft/DCVC