用于 JPEG 伪影去除的多模态深度网络
计算机视觉与模式识别
2023-05-05 v1
摘要
近年来，许多基于卷积神经网络的模型被设计用于 JPEG 伪影去除，并取得了显著进展。然而，很少有方法适用于极低码率图像压缩伪影的去除。主要挑战在于高度压缩的图像丢失了过多信息，导致难以重建高质量图像。为解决此问题，我们提出一种文本引导 JPEG 伪影去除的多模态融合学习方法，其中相应的文本描述不仅提供高度压缩图像的潜在先验信息，还作为辅助信息协助图像去块。我们分别从全局和局部视角融合图像特征与文本语义特征，并设计基于对比学习的对比损失以产生视觉愉悦的结果。包括用户研究在内的广泛实验证明，与最先进的方法相比，我们的方法能获得更好的去块结果。
引用
@article{arxiv.2305.02760,
title = {Multi-Modality Deep Network for JPEG Artifacts Reduction},
author = {Xuhao Jiang and Weimin Tan and Qing Lin and Chenxi Ma and Bo Yan and Liquan Shen},
journal= {arXiv preprint arXiv:2305.02760},
year = {2023}
}
备注
18 pages, 17 figures, accepted by IJCAI 2023