通过端到端基于JND优化的感知学习图像压缩

Farhad Pakdaman; Sanaz Nami; Moncef Gabbouj

通过端到端基于JND优化的感知学习图像压缩

图像与视频处理 2024-02-06 v1 计算机视觉与模式识别多媒体

作者: Farhad Pakdaman , Sanaz Nami , Moncef Gabbouj

摘要

新兴的学习图像压缩(LC)通过端到端训练神经网络进行压缩，在编码效率方面取得了显著改进。与传统编解码器相比，这种方法的一个重要优势是，任何优化标准都可以在训练期间直接应用于编码器-解码器网络。为了符合人类视觉系统(HVS)而对LC进行感知优化是此类标准之一，但尚未得到充分探索。本文通过提出一个新颖的框架将恰可察觉失真(JND)原理整合到LC中，填补了这一空白。利用现有的JND数据集，提出了三种感知优化方法将JND整合到LC训练过程中：(1) 逐像素JND损失(PWL)优先在逐像素保真度上复现JND特性，(2) 逐图像JND损失(IWL)强调整体不可察觉的退化水平，(3) 逐特征JND损失(FWL)将重建图像特征与感知显著特征对齐。实验评估证明了JND整合的有效性，与基线方法相比，在率失真性能和视觉质量方面均有改进。所提方法在训练后不增加额外复杂度。

关键词

学习图像压缩恰可察觉失真感知优化端到端训练人类视觉系统率失真优化

引用

@article{arxiv.2402.02836,
  title  = {Perceptual Learned Image Compression via End-to-End JND-Based Optimization},
  author = {Farhad Pakdaman and Sanaz Nami and Moncef Gabbouj},
  journal= {arXiv preprint arXiv:2402.02836},
  year   = {2024}
}

通过端到端基于JND优化的感知学习图像压缩

摘要

关键词

引用

备注

相关论文