基于分割先验的区域自适应变换图像压缩
计算机视觉与模式识别
2024-09-25 v4 图像与视频处理
摘要
学习图像压缩（LIC）近年来取得了显著进展。现有工作通常采用基于CNN或基于自注意力的模块作为压缩的变换方法。然而，之前没有关于针对特定区域的神经变换的研究。为此，我们引入了类无关分割掩码（即无类别标签的语义掩码）来提取区域自适应上下文信息。我们提出的模块——区域自适应变换，在掩码引导下对不同区域应用自适应卷积。此外，我们引入了一个即插即用模块——尺度仿射层，以融合来自不同区域的丰富上下文。虽然之前有涉及分割掩码作为额外中间输入的图像压缩工作，但我们的方法与之有显著不同。我们的优势在于，为了避免额外的比特率开销，我们将这些掩码视为特权信息，在模型训练阶段可访问，但在推理阶段不需要。据我们所知，我们是第一个使用类无关掩码作为特权信息并在像素保真度指标（如峰值信噪比PSNR）上取得优越性能的工作。实验结果表明，与之前表现良好的方法相比，我们实现了改进，比特率节省约8.2%（与VTM-17.0相比）。源代码可在https://github.com/GityuxiLiu/SegPIC-for-Image-Compression获取。
引用
@article{arxiv.2403.00628,
title = {Region-Adaptive Transform with Segmentation Prior for Image Compression},
author = {Yuxi Liu and Wenhan Yang and Huihui Bai and Yunchao Wei and Yao Zhao},
journal= {arXiv preprint arXiv:2403.00628},
year = {2024}
}
备注
Accepted to ECCV 2024