你的需求值得更多比特：超低码率下的指代语义图像压缩
图像与视频处理
2025-06-03 v1
摘要
在强大的生成模型帮助下，语义图像压缩 (SIC) 在超低码率下取得了令人瞩目的性能。然而，由于粗粒度的视觉-语义对齐和固有的随机性，SIC 在重建完全不同的对象实例时的可靠性受到严重关注，即使它们在语义上与原始图像一致。为了解决这个问题，我们提出了一种新颖的指代语义图像压缩 (RSIC) 框架，以提高用户指定内容的保真度，同时保持极高的压缩率。具体而言，RSIC 由三个模块组成：全局描述编码 (GDE)、指代引导编码 (RGE) 和引导生成解码 (GGD)。GDE 和 RGE 分别编码全局语义信息和局部特征，而 GGD 基于编码信息处理非均匀引导的生成过程。通过这种方式，我们的 RSIC 根据用户需求实现了灵活的定制化压缩，在局部保真度、全局真实感、语义对齐和比特开销之间取得了更好的平衡。在三个数据集上的大量实验验证了所提方法的压缩效率和灵活性。
引用
@article{arxiv.2506.00526,
title = {Your Demands Deserve More Bits: Referring Semantic Image Compression at Ultra-low Bitrate},
author = {Chenhao Wu and Qingbo Wu and Haoran Wei and Shuai Chen and Mingzhou He and King Ngi Ngan and Fanman Meng and Hongliang Li},
journal= {arXiv preprint arXiv:2506.00526},
year = {2025}
}
备注
Accepted for oral presentation at ISCAS2025