基于知识蒸馏的内容可变参考图像质量评估
计算机视觉与模式识别
2022-03-01 v1 图像与视频处理
摘要
通常，人类更擅长感知高质量（HQ）与低质量（LQ）图像之间的差异，而非直接判断单张 LQ 图像的质量。这种情况也适用于图像质量评估（IQA）。尽管近期无参考（NR-IQA）方法在脱离参考图像预测图像质量方面取得很大进展，但由于 HQ 图像信息未被充分利用，它们仍有潜力获得更好性能。相比之下，全参考（FR-IQA）方法往往提供更可靠的质量评价，但其实用性受限于对像素级对齐参考图像的要求。为此，我们首次提出基于知识蒸馏的内容可变参考方法（CVRKD-IQA）。具体而言，我们使用非对齐参考（NAR）图像引入多种高质量图像的先验分布。HQ 与 LQ 图像间分布差异的比较可帮助我们的模型更好地评估图像质量。进一步，知识蒸馏将更多 HQ-LQ 分布差异信息从 FR-教师模型迁移到 NAR-学生模型，并稳定 CVRKD-IQA 性能。此外，为充分挖掘局部-全局结合信息，同时实现更快推理速度，我们的模型通过 MLP-mixer 直接处理来自输入的多图像块。跨数据集实验验证我们的模型优于所有 NAR/NR-IQA SOTA，在某些场合甚至达到与 FR-IQA 方法相当的性能。由于内容可变且非对齐的参考 HQ 图像易于获取，我们的模型可凭借其对内容变化的相对鲁棒性支持更多 IQA 应用。我们的代码及更详细的补充阐述见：https://github.com/guanghaoyin/CVRKD-IQA。
引用
@article{arxiv.2202.13123,
title = {Content-Variant Reference Image Quality Assessment via Knowledge Distillation},
author = {Guanghao Yin and Wei Wang and Zehuan Yuan and Chuchu Han and Wei Ji and Shouqian Sun and Changhu Wang},
journal= {arXiv preprint arXiv:2202.13123},
year = {2022}
}
备注
AAAI2022 oral accepted