使用异构残差卷积神经网络实现端到端JPEG解码与伪影抑制
图像与视频处理
2020-07-02 v1 计算机视觉与模式识别
机器学习
摘要
现有的深度学习模型将JPEG伪影抑制与解码协议作为独立任务分离。在本工作中，我们向前迈进一步，设计了一种具有频谱分解与异构重建机制的真正端到端异构残差卷积神经网络（HR-CNN）。得益于全CNN架构与GPU加速，所提模型显著提升了重建效率。数值实验表明，整体重建速度达到标准CPU JPEG解码协议的同数量级，同时完成解码与伪影抑制。我们将JPEG伪影抑制任务表述为解码与图像细节重建的交互过程。提出一种异构的、全卷积的机制，专门应对不同频谱通道间的不相关特性。网络直接从k空间中的JPEG码出发，首先逐通道提取频谱样本，并以扩展吞吐量恢复频谱快照。这些中间快照随后被异构解码并合并为像素空间图像。设计级联残差学习段以进一步增强图像细节。实验验证该模型在JPEG伪影抑制方面取得优异性能，且其全卷积操作与优雅的网络结构相较于该主题下其他深度学习模型为实际在线使用提供了更高的计算效率。
引用
@article{arxiv.2007.00639,
title = {End-to-End JPEG Decoding and Artifacts Suppression Using Heterogeneous Residual Convolutional Neural Network},
author = {Jun Niu},
journal= {arXiv preprint arXiv:2007.00639},
year = {2020}
}