Light-VQA+:基于视觉语言指导的曝光校正视频质量评估模型
计算机视觉与模式识别
2024-05-15 v2
摘要
最近，用户生成内容 (UGC) 视频在我们日常生活中获得了很大的流行。然而，UGC视频常常因摄影设备和技术的限制而出现曝光不当。因此，提出了视频曝光校正 (VEC) 算法，其中包括低光视频增强 (LLVE) 和过曝视频恢复 (OEVR)。与VEC同样重要的是视频质量评估 (VQA)。不幸的是，几乎所有现有的VQA模型都是通用构建的，从综合角度衡量视频质量。因此，提出了Light-VQA，该模型在LLVE-QA数据集上训练，用于评估LLVE。我们扩展了Light-VQA的工作，通过将LLVE-QA数据集扩展为包含过曝视频及其相应校正版本的视频曝光校正质量评估 (VEC-QA) 数据集。此外，我们提出Light-VQA+，一种专门用于评估VEC的VQA模型。Light-VQA+主要区别于Light-VQA在于使用CLIP模型和在特征提取过程中采用视觉语言指导，随后引入一种参考人类视觉系统 (HVS) 的新模块，以获得更准确的评估。大量实验结果表明，我们的模型在VEC-QA数据集及其他公开数据集上取得当前最先进 (SOTA) VQA模型的最佳性能。
引用
@article{arxiv.2405.03333,
title = {Light-VQA+: A Video Quality Assessment Model for Exposure Correction with Vision-Language Guidance},
author = {Xunchu Zhou and Xiaohong Liu and Yunlong Dong and Tengchuan Kou and Yixuan Gao and Zicheng Zhang and Chunyi Li and Haoning Wu and Guangtao Zhai},
journal= {arXiv preprint arXiv:2405.03333},
year = {2024}
}