面向压缩图像分类的轻量级自适应特征漂移校正

JPEG是一种广泛使用的压缩方案，可有效减少传输图像的体积。由于信息丢失，块间会出现伪影，这不仅影响图像质量，还会在特征漂移方面损害后续的高级任务。在高质量图像上训练的高级视觉模型在处理压缩图像时会遭受性能下降，尤其是在移动设备上。已有大量基于学习的JPEG伪影去除方法被提出以处理视觉伪影。然而，出于以下原因，将这些JPEG伪影去除方法用作压缩图像分类的预处理并非理想选择：1. 这些方法是为人类视觉而非高级视觉模型设计的；2. 这些方法效率不足以在资源受限的设备上作为预处理。为解决这些问题，本文提出了一种新颖的轻量级AFD模块，以提升预训练图像分类模型在面对压缩图像时的性能。首先，设计了一个FDE-Net在DCT域中生成空间维度的FDM。接着，估计的FDM被传输到FE-Net，以生成退化特征与对应高质量特征之间的映射关系。FE-Net中采用了一个简单但有效的、配备结构重参数化的RepConv块，它在训练阶段丰富特征表示，同时在部署阶段保持高效。在有限的压缩图像上训练后，AFD模块可作为预训练分类模型的“即插即用”组件，以提升其在压缩图像上的性能。实验表明，我们提出的AFD模块能全面提升预训练分类模型的准确率，并显著优于现有方法。