基于保真度控制的生成式稀疏表示的图像与视频压缩

我们提出了一种基于生成式稀疏视觉表示（SVR）并辅以保真度保持控制的图像与视频压缩学习框架。通过将输入嵌入到由学习到的视觉码本张成的离散潜在空间中，基于SVR的压缩传输整数码字索引，这种方法高效且跨平台鲁棒。然而，解码器中的高质量重建依赖于来自编码器的中间特征输入（通过直接连接）。由于传输成本过高，以往的基于SVR的压缩方法去除了这种特征链接，导致重建质量大幅下降。在本工作中，我们将中间特征视为保真度保持的控制信号，指导解码器中的条件生成重建。我们并未丢弃或直接传输这些信号，而是从一种低质量保真度保持的替代输入中提取它们，该替代输入以极低的比特率发送到解码器。这些控制信号提供互补的保真度线索以改善重建，其质量由低质量替代输入的压缩率决定，可通过调整来权衡比特率、保真度和感知质量。我们的框架可方便地用于学习图像压缩（LIC）和学习视频压缩（LVC）。由于SVR对输入扰动具有鲁棒性，相邻帧之间的大部分码字索引可以相同。通过仅传输不同的索引，基于SVR的LIC和LVC可以共享相似的处理流程。在标准图像和视频压缩基准上的实验证明了我们方法的有效性。