一种图像到图像翻译与图像压缩的新框架

使用机器学习的的数据驱动范式在图像处理与通信中正变得无处不在。特别地，图像到图像（I2I）翻译是一种通用且被广泛用于图像处理问题的方法，如图像合成、风格迁移与图像复原。与此同时，神经图像压缩已成为视觉通信中传统编码方法的数据驱动替代方案。本文研究将这两种范式结合为一个联合的 I2I 压缩与翻译框架，聚焦于多域图像合成。我们首先通过将量化与熵编码集成到 I2I 翻译框架（即 I2Icodec）中实现分布式 I2I 翻译。实际上，图像压缩功能（即自动编码）也是可取的，需 alongside I2Icodec 部署一个常规图像编解码器。因此，我们进一步提出一个统一框架，在单一编解码器中同时允许翻译与自动编码能力。以翻译/压缩模式为条件的自适应残差块提供了对所需功能的灵活适配。实验展示了使用单一模型在 I2I 翻译与图像压缩两方面的 promising 结果。