利用隐式局部似然模型改善神经图像压缩的统计保真度
图像与视频处理
2023-08-14 v3 人工智能
计算机视觉与模式识别
信息论
math.IT
摘要
有损图像压缩旨在以尽可能少的比特表示图像，同时保持对原始图像的保真度。理论结果表明，优化 PSNR 或 MS-SSIM 等失真度量必然导致原始图像与重建图像在统计上的差异，尤其在低比特率下，常表现为压缩图像的模糊。先前的工作利用对抗判别器来改善统计保真度。然而，从生成建模任务借鉴的这类二元判别器可能并不理想用于图像压缩。在本文中，我们引入了一种以通过 VQ-VAE 自编码器获得的量化局部图像表示为条件的非二元判别器。我们在 CLIC2020、DIV2K 和 Kodak 数据集上的评估表明，我们的判别器在联合优化失真（如 PSNR）与统计保真度（如 FID）方面比最先进的 HiFiC 模型的 PatchGAN 更有效。在 CLIC2020 上，我们以少 30-40% 的比特数获得了与 HiFiC 相同的 FID。
引用
@article{arxiv.2301.11189,
title = {Improving Statistical Fidelity for Neural Image Compression with Implicit Local Likelihood Models},
author = {Matthew J. Muckley and Alaaeldin El-Nouby and Karen Ullrich and Hervé Jégou and Jakob Verbeek},
journal= {arXiv preprint arXiv:2301.11189},
year = {2023}
}
备注
Upload camera-ready to arXiv. Official version available at https://proceedings.mlr.press/v202/muckley23a.html