用于恰可察觉差估计的受人类视觉系统启发的信号退化网络
计算机视觉与模式识别
2022-08-17 v1 图像与视频处理
摘要
由于深度神经网络的发展，尤其是最近开发的无监督 JND（恰可察觉差）生成模型，JND 建模取得了显著进展。然而，它们有一个主要缺点：生成的 JND 是在真实世界信号域而非人脑感知域中进行评估。由于真实世界中的视觉信号经由人类视觉系统（HVS）编码后才传入大脑，在这两种域中评估 JND 存在明显差异。因此，我们提出一种受 HVS 启发的信号退化网络用于 JND 估计。为此，我们仔细分析 JND 主观观看中的 HVS 感知过程以获得相关见解，然后设计一种受 HVS 启发的信号退化（HVS-SD）网络来表示 HVS 中的信号退化。一方面，良好学习的 HVS-SD 使我们能够在感知域中评估 JND。另一方面，它为更好地引导 JND 生成提供了更精确的先验信息。此外，考虑到合理的 JND 不应导致视觉注意转移的要求，提出一种视觉注意损失来控制 JND 生成。实验结果表明，所提方法在准确估计 HVS 冗余度方面达到了 SOTA 性能。源代码将发布于 https://github.com/jianjin008/HVS-SD-JND。
引用
@article{arxiv.2208.07583,
title = {HVS-Inspired Signal Degradation Network for Just Noticeable Difference Estimation},
author = {Jian Jin and Yuan Xue and Xingxing Zhang and Lili Meng and Yao Zhao and Weisi Lin},
journal= {arXiv preprint arXiv:2208.07583},
year = {2022}
}
备注
Submit to IEEE Transactions on Cybernetics