面向学习式图像压缩的保身份损失
计算机视觉与模式识别
2022-04-28 v3
摘要
由于计算资源有限，在嵌入式设备上运行深度学习模型推理具有挑战性。一种流行的替代方案是在云端执行模型推理，这需要将图像从嵌入式设备传输到云端。在此类基于云的架构中，通常采用图像压缩技术以降低低带宽网络上的传输延迟。本工作提出一种端到端图像压缩框架，学习特定领域特征，以在标准 HEVC/JPEG 压缩技术之上实现更高的压缩比，同时保持下游任务（例如识别）的精度。我们的框架不需要对下游任务进行微调，这使得我们可以即插即用地使用任何现成的下游任务模型而无需重新训练。我们选择人脸作为应用域，因为数据集和现成识别模型作为代表性下游任务易于获取。我们提出一种新颖的保身份重建（Identity Preserving Reconstruction, IPR）损失函数，在 LFW（低分辨率）和 CelebA-HQ（高分辨率）数据集上分别实现了约为 CRF-23 HEVC 压缩的每像素比特数（Bits-Per-Pixel, BPP）值的 ~38% 和 ~42%，同时保持识别精度相当。该优越压缩比的实现源于模型学会保留特定领域特征（例如面部特征）而牺牲背景细节。此外，我们提出的压缩模型重建的图像对下游模型架构的变化具有鲁棒性。我们在 LFW 数据集上用一个未见过的识别模型展示了相当的识别性能，同时保持约为 CRF-23 HEVC 压缩 ~38% 的更低 BPP 值。
引用
@article{arxiv.2204.10869,
title = {Identity Preserving Loss for Learned Image Compression},
author = {Jiuhong Xiao and Lavisha Aggarwal and Prithviraj Banerjee and Manoj Aggarwal and Gerard Medioni},
journal= {arXiv preprint arXiv:2204.10869},
year = {2022}
}
备注
Accepted by CVPR 2022 Workshop on New Trends in Image Restoration and Enhancement and Challenges