面向机器与人类视觉的空间频率自适应图像压缩
计算机视觉与模式识别
2024-07-16 v1
摘要
面向机器与人类视觉的图像压缩(ICMH)近年来受到广泛关注。现有ICMH方法因任务特定网络设计负载较重，导致高训练和存储开销。为此本文开发了一种轻量级基于适配器的调优框架ICMH，称为Adapt-ICMH，旨在以减少开销的方式在任务性能与比特率之间取得更好的平衡。我们提出了空间频率调制适配器(SFMA)，该适配器通过空间调制适配器消除非语义冗余，通过频率调制适配器增强任务相关频率成分并抑制任务不相关频率成分。该适配器具有即插即用的特性，能够与几乎所有现有的学习图像压缩模型兼容，而不会损害预训练模型的性能。实验表明，Adapt-ICMH在各种机器视觉任务上均优于现有ICMH框架，所需微调参数更少，计算复杂度更低。代码将在https://github.com/qingshi9974/ECCV2024-AdpatICMH发布。
引用
@article{arxiv.2407.09853,
title = {Image Compression for Machine and Human Vision with Spatial-Frequency Adaptation},
author = {Han Li and Shaohui Li and Shuangrui Ding and Wenrui Dai and Maida Cao and Chenglin Li and Junni Zou and Hongkai Xiong},
journal= {arXiv preprint arXiv:2407.09853},
year = {2024}
}
备注
Accepted by ECCV2024, project: https://github.com/qingshi9974/ECCV2024-AdpatICMH