基于失真诱导灵敏度图的无参考图像质量评估预训练方法 DSMix
计算机视觉与模式识别
2024-07-08 v1 图像与视频处理
摘要
图像质量评估 (IQA) 一直是图像理解中的一个基本挑战。近年来，基于深度学习的 IQA 方法显示出有前景的性能。然而，IQA 领域缺乏大量标注数据，阻碍了这些方法的进一步发展。本文引入 DSMix，一种专为 IQA 任务设计的新型数据增强技术，旨�克服这一限制。DSMix 利用图像的失真诱导灵敏度图 (DSM) 作为先验知识。它对多样化的合成失真图像应用切片和混合操作，根据此先验知识为类别标签分配置信度得分。在使用 DSMix 增强数据进行预训练阶段，采用知识蒸馏来增强模型提取语义特征的能力。在合成和真实 IQA 数据集上的实验结果表明，DSMix 实现了显著的预测和泛化性能，而无需对整个模型进行微调即可实现。代码已公开 availalbe at \url{https://github.com/I2-Multimedia-Lab/DSMix}。
引用
@article{arxiv.2407.03886,
title = {DSMix: Distortion-Induced Sensitivity Map Based Pre-training for No-Reference Image Quality Assessment},
author = {Jinsong Shi and Pan Gao and Xiaojiang Peng and Jie Qin},
journal= {arXiv preprint arXiv:2407.03886},
year = {2024}
}
备注
Accepted by ECCV 2024