面向可变率极端图像压缩的联合损坏感知任意尺度超分辨率

最近的基于扩散的极端图像压缩方法在超低比特率下展现出惊人的性能。然而，大多数方法需要为每个目标比特率分别训练扩散模型，导致计算开销大，阻碍实际部署。与此同时，最近的研究表明，联合超分辨率可作为增强低比特率重建的有效方法。然而，在向超低比特率 regime 迈进时，这些方法因严重信息丢失而难以胜任，且依赖固定的超分辨率尺度，无法灵活适应不同比特率。为克服这些限制，我们提出一种 novel 的图像压缩框架ASSR-EIC，利用任意尺度超分辨率（ASSR）支持可变率极端图像压缩（EIC）。在编码器端引入一种任意尺度下采样模块，以实现可控的速率降低，而基于扩散的、联合损坏感知ASSR 解码器则实现了 single model 中的 rate-adaptive 重建。我们利用 compression-和 rescaling-aware 扩散先验指导重建，在各种 compression 和 rescaling 设置下实现高保真度和高真实感恢复。具体而言，我们设计了一个 global compression-rescaling adaptor，以提供整体的 rate adaptation 指导，以及一个 local compression-rescaling modulator，以动态平衡生成和保真导向的行为，以实现细粒度、比特率自适应的细节恢复。为进一步提升重建质量，我们引入一种 dual semantic-enhanced 设计。大量实验表明，ASSR-EIC 在极端图像压缩方面实现了 state-of-the-art 性能，同时支持灵活的比特率控制和自适应的 rate-dependent 重建。