用于无参考图像质量评价的逐像素平均意见得分 (pMOS)
图像与视频处理
2022-06-15 v1 计算机视觉与模式识别
多媒体
摘要
基于深度学习的技术为自动图像质量评价 (IQA) 领域的显著进展做出了贡献。现有 IQA 方法旨在以图像级（即整幅图像）或块级（将图像划分为多个单元并测量每个块的质量）的平均意见得分 (MOS) 来度量图像质量。某些应用可能需要在像素级（即每个像素的 MOS 值）评价质量，然而由于现有技术的网络结构导致空间信息丢失，这无法实现。本文提出了一种除图像级 MOS 外还能在像素级度量 MOS 的 IQA 算法。所提算法由三个核心部分组成，即：i) 局部 IQA；ii) 感兴趣区域 (ROI) 预测；iii) 高层特征嵌入。局部 IQA 部分输出像素级的 MOS，或逐像素 MOS——我们称之为“pMOS”。ROI 预测部分输出在计算图像级 IQA 时表征区域相对重要性的权重。高层特征嵌入部分提取高层图像特征，随后嵌入到局部 IQA 部分。换言之，所提算法产生三个输出：表示每个像素 MOS 的 pMOS、来自 ROI 指示区域相对重要性的权重，以及最终由 pMOS 与 ROI 值的加权和得到的图像级 MOS。由此利用 pMOS 和 ROI 权重获得的图像级 MOS 相较于现有流行 IQA 技术表现出更优性能。此外，可视化结果表明预测的 pMOS 和 ROI 输出与人类视觉系统 (HVS) 的一般原理合理吻合。
引用
@article{arxiv.2206.06541,
title = {Pixel-by-pixel Mean Opinion Score (pMOS) for No-Reference Image Quality Assessment},
author = {Wook-Hyung Kim and Cheul-hee Hahm and Anant Baijal and Namuk Kim and Ilhyun Cho and Jayoon Koo},
journal= {arXiv preprint arXiv:2206.06541},
year = {2022}
}