利用自监督视觉掩蔽增强图像质量预测
计算机视觉与模式识别
2024-01-18 v2 图像与视频处理
摘要
全参考图像质量指标 (FR-IQM) 旨在衡量参考图像与失真图像之间的视觉差异,以准确预测人类主观判断为目标。然而,现有的 FR-IQM,包括 PSNR、SSIM 等传统指标,乃至 HDR-VDP、LPIPS、DISTS 等感知指标,仍不足以捕捉人类感知的复杂性与细微差别。本工作中,我们并非设计新的 IQM 模型,而是寻求改进现有 FR-IQM 方法的感知质量。我们通过考虑视觉掩蔽来实现这一点——视觉掩蔽是人类视觉系统的重要特性,其对失真的敏感度随局部图像内容而变化。具体而言,对于给定的 FR-IQM 指标,我们提出预测一个视觉掩蔽模型,该模型以基于失真可见性惩罚视觉误差的方式调制参考图像与失真图像。由于真实视觉掩蔽难以获取,我们展示了如何仅基于从 FR-IQM 数据集中收集的平均意见得分 (MOS) 以自监督方式推导它们。我们的方法得到了增强的 FR-IQM 指标,其在视觉和定量上均更符合人类预测。
引用
@article{arxiv.2305.19858,
title = {Enhancing image quality prediction with self-supervised visual masking},
author = {Uğur Çoğalan and Mojtaba Bemana and Hans-Peter Seidel and Karol Myszkowski},
journal= {arXiv preprint arXiv:2305.19858},
year = {2024}
}
备注
11 pages, 11 figures