低光照图像的盲多模态质量评价
计算机视觉与模式识别
2023-10-10 v2 多媒体
摘要
盲图像质量评价(BIQA)旨在自动且准确地预测视觉信号客观分数,已广泛用于低光照应用中的产品与服务质监,涵盖智能手机摄影、视频监控、自动驾驶等。该领域近期进展由单模态方案主导,与人类主观评分模式不一致,后者由多感官信息同时反映。本文提出一种独特的从主观评价到客观分数的低光照图像盲多模态质量评价(BMQA)。为探究多模态机制,我们首先建立含真实低光照失真、包含图像-文本模态对的多模态低光照图像质量(MLIQ)数据库。进一步,我们专门设计 BMQA 的关键模块,考量多模态质量表示、潜特征对齐与融合,以及混合自监督与监督学习。大量实验表明,我们的 BMQA 在所提 MLIQ 基准数据库上取得最先进准确率。特别地,我们还构建了独立的单图像模态 Dark-4K 数据库,用于验证其在主流单模态应用中的适用性与泛化性能。Dark-4K 上的定性与定量结果表明,只要提供预训练模型生成文本描述,BMQA 相对于现有 BIQA 方法均取得更优性能。所提框架与两个数据库以及收集的 BIQA 方法与评价指标均已公开于此处。
引用
@article{arxiv.2303.10369,
title = {Blind Multimodal Quality Assessment of Low-light Images},
author = {Miaohui Wang and Zhuowei Xu and Mai Xu and Weisi Lin},
journal= {arXiv preprint arXiv:2303.10369},
year = {2023}
}
备注
15 pages