融合半监督与正-未标记学习以提升全参考图像质量评价
计算机视觉与模式识别
2022-04-20 v1 图像与视频处理
摘要
全参考（FR）图像质量评价（IQA）通过度量失真图像与原始优质参考图像之间的感知差异来评估其视觉质量，已广泛应用于底层视觉任务。训练 FR-IQA 模型需要带有平均意见分（MOS）的成对标注数据，但这类数据收集耗时且繁琐。相比之下，未标注数据可轻易从图像退化或复原过程中收集，因此利用未标注训练数据来提升 FR-IQA 性能颇具前景。此外，由于标注与未标注数据间的分布不一致，未标注数据中可能出现离群点，进一步增加了训练难度。本文提出融合半监督与正-未标记（PU）学习，以利用未标注数据并缓解离群点的不利影响。具体而言，将所有标注数据视为正样本，利用 PU 学习从未标注数据中识别负样本（即离群点）。进一步部署半监督学习（SSL），通过动态生成伪 MOS 来利用正未标注数据。我们采用包含参考分支与失真分支的双分支网络。此外，在参考分支中引入空间注意力以更关注信息丰富区域，并使用切片 Wasserstein 距离进行鲁棒差异图计算，以解决由 GAN 模型恢复图像导致的错位问题。大量实验表明，我们的方法在基准数据集 PIPAL、KADID-10k、TID2013、LIVE 和 CSIQ 上优于现有最优方法。
引用
@article{arxiv.2204.08763,
title = {Incorporating Semi-Supervised and Positive-Unlabeled Learning for Boosting Full Reference Image Quality Assessment},
author = {Yue Cao and Zhaolin Wan and Dongwei Ren and Zifei Yan and Wangmeng Zuo},
journal= {arXiv preprint arXiv:2204.08763},
year = {2022}
}
备注
CVPR 2022. The source code and model are available at https://github.com/happycaoyue/JSPL