用于人像图像质量评估的双分支网络
计算机视觉与模式识别
2024-05-15 v1 多媒体
摘要
人像图像通常由显著人物和多样化背景组成。随着移动设备和图像处理技术的发展，用户可以随时随地便捷地拍摄人像图像。然而，这些人像的质量可能会因不利的环境条件、不佳的摄影技术以及低劣的拍摄设备而下降。本文提出了一种用于人像图像质量评估 (PIQA) 的双分支网络，能够有效解决人像图像中显著人物和背景对其视觉质量的影响问题。具体而言，我们利用两个骨干网络（即 Swin Transformer-B）分别从整个人像图像和从中裁剪出的人脸图像中提取质量感知特征。为了增强骨干网络的质量感知特征表示能力，我们在大规模视频质量评估数据集 LSVQ 和大规模人脸图像质量评估数据集 GFIQA 上对其进行预训练。此外，我们利用 LIQE（一种图像场景分类与质量评估模型）来捕获质量感知和场景特定的特征作为辅助特征。最后，我们将这些特征拼接起来，并通过多层感知机 (MLP) 将其回归为质量分数。我们采用保真度损失，以学习排序的方式训练模型，以缓解人像图像质量评估数据集 PIQ 中质量分数的不一致性。实验结果表明，所提出的模型在 PIQ 数据集上取得了优异的性能，验证了其有效性。代码可在 \url{https://github.com/sunwei925/DN-PIQA.git} 获取。
引用
@article{arxiv.2405.08555,
title = {Dual-Branch Network for Portrait Image Quality Assessment},
author = {Wei Sun and Weixia Zhang and Yanwei Jiang and Haoning Wu and Zicheng Zhang and Jun Jia and Yingjie Zhou and Zhongpeng Ji and Xiongkuo Min and Weisi Lin and Guangtao Zhai},
journal= {arXiv preprint arXiv:2405.08555},
year = {2024}
}