用于学习型图像压缩的神经数据依赖变换

学习型图像压缩因其出色的建模能力取得了巨大成功，但很少进一步考虑每幅输入图像的率失真优化。为挖掘学习型编解码器在这方面的潜力，我们首次尝试构建神经数据依赖变换，并引入连续在线模式决策机制，以联合优化每幅独立图像的编码效率。具体而言，除了图像内容流之外，我们在解码端采用额外的模型流来生成变换参数。模型流的存在使我们的模型能够学习更抽象的神经语法，这有助于将图像的潜在表示聚类得更紧凑。在变换阶段之外，对于无论额外解码开销而要求更高质量重构的场景，我们还采用了基于神经语法的后处理。此外，模型流的引入进一步使得以在线方式优化表示和解码器成为可能，即测试时的RDO。这等效于一种连续的在线模式决策，如同传统编解码器中的编码模式，基于独立输入图像来提升编码效率。实验结果验证了所提出的神经语法设计和连续在线模式决策机制的有效性，证明了与最新传统标准通用视频编码及其他SOTA基于学习的方法相比，我们的方法在编码效率上具有优越性。