可微JPEG：细节决定成败
计算机视觉与模式识别
2024-04-22 v4 多媒体
摘要
JPEG仍是最广泛的有损图像编码方法之一。然而，JPEG的不可微本性限制了其在深度学习流水线中的应用。近期已有若干可微JPEG近似方法被提出以解决这个问题。本文对现有可微JPEG方法进行了全面回顾，并指出了先前方法所遗漏的关键细节。为此，我们提出了一种新的可微JPEG方法，克服了以往的局限。我们的方法相对于输入图像、JPEG质量、量化表以及颜色转换参数均可微。我们针对现有方法评估了可微JPEG方法的前向与反向性能。此外，进行了大量消融实验以评估关键设计选择。我们提出的可微JPEG最接近（不可微）参考实现，以平均dB（PSNR）显著超越近期最佳可微方法。对于强压缩率，我们甚至能将PSNR提升dB。我们的可微JPEG产生了强对抗攻击结果，证明了有效的梯度近似。我们的代码见https://github.com/necla-ml/Diff-JPEG。
引用
@article{arxiv.2309.06978,
title = {Differentiable JPEG: The Devil is in the Details},
author = {Christoph Reich and Biplob Debnath and Deep Patel and Srimat Chakradhar},
journal= {arXiv preprint arXiv:2309.06978},
year = {2024}
}
备注
Accepted at WACV 2024. Project page: https://christophreich1996.github.io/differentiable_jpeg/ WACV paper: https://openaccess.thecvf.com/content/WACV2024/html/Reich_Differentiable_JPEG_The_Devil_Is_in_the_Details_WACV_2024_paper.html