用于一致性图像语义恢复的分层语义压缩

新兴的语义压缩近来受到越来越多的研究关注，它能够在压缩过程中实现高保真恢复，甚至在极低比特率下也是如此。然而，现有的语义压缩方法通常将标准流水线与预定义语义或高维语义相结合，因此在压缩性能上存在不足。为了解决这一问题，我们提出了一种新颖的分层语义压缩（HSC）框架，该框架完全在生成模型的内在语义空间内运行，能够实现用于一致性语义恢复的高效压缩。更具体地，我们首先分析了语义压缩的熵模型，这促使我们采用基于新开发的通用反演编码器的分层架构。然后，我们提出了特征压缩网络（FCN）和语义压缩网络（SCN），从而通过逐通道上下文渐进共享的熵模型，对中层语义特征和核心语义进行分层压缩，以恢复图像语义的准确性和一致性。实验结果表明，所提出的 HSC 框架在人类视觉的主观质量和一致性上达到了 SOTA 性能，并在给定压缩比特流的机器视觉任务上也表现出优越的性能。这在本质上与人类视觉系统理解图像的方式相一致，从而为未来的图像/视频压缩范式提供了一个新框架。我们的代码将在被接收后发布。