面向通用神经图像压缩的动态低秩实例自适应
图像与视频处理
2023-08-16 v1 计算机视觉与模式识别
多媒体
摘要
神经图像压缩的最新进展显示出超越传统标准编解码器率失真性能的巨大潜力。然而，用于训练（即自然图像）和用于推理（例如艺术图像）的数据集之间存在不可磨灭的域差距。我们的方案涉及一种低秩自适应方法，旨在解决在域外数据集上观察到的率失真下降问题。具体而言，我们执行低秩矩阵分解来更新客户端解码器的某些自适应参数。这些更新后的参数与图像潜变量一起被编码为比特流，并在实际场景中传输至解码器。由于对自适应参数施加了低秩约束，由此产生的比特率开销很小。此外，考虑到不同的输入需要不同的自适应比特流，低秩自适应的比特率分配是微妙的。因此我们基于低秩自适应方法引入了一个动态门控网络，以决定哪个解码器层应采用自适应。该动态自适应网络使用率失真损失进行端到端优化。我们提出的方法在多样化图像数据集上展现出通用性。大量结果表明，该范式显著缓解了域差距，在域外图像上以约19%的平均BD-rate改善超越非自适应方法。此外，它比最先进的实例自适应方法高出约5% BD-rate。消融研究证实了我们的方法能够通用地增强各种图像压缩架构。
引用
@article{arxiv.2308.07733,
title = {Dynamic Low-Rank Instance Adaptation for Universal Neural Image Compression},
author = {Yue Lv and Jinxi Xiang and Jun Zhang and Wenming Yang and Xiao Han and Wei Yang},
journal= {arXiv preprint arXiv:2308.07733},
year = {2023}
}
备注
Accepted by ACM MM 2023, 13 pages, 12 figures