Light-VQA：一种面向低光照视频增强的多维质量评估模型
计算机视觉与模式识别
2023-08-08 v2 图像与视频处理
摘要
近来，用户生成内容（UGC）视频在我们的日常生活中变得无处不在。然而，由于拍摄设备与技术的限制，UGC视频常包含各种退化，其中最具视觉不利的影响之一是欠曝光。因此，相应的视频增强算法如低光照视频增强（LLVE）已被提出以应对该特定退化。然而，与视频增强算法不同，几乎所有现有的视频质量评估（VQA）模型都是通用而非专门构建的，从综合视角衡量视频质量。据我们所知，尚无专门针对LLVE算法增强视频设计的VQA模型。为此，我们首先构建了低光照视频增强质量评估（LLVE-QA）数据集，其中收集了254个原始低光照视频，并利用8种LLVE算法进行增强，共获得2060个视频。此外，我们提出了一种专用于LLVE的质量评估模型，名为Light-VQA。更具体地，由于亮度和噪声对低光照增强VQA影响最大，我们手工设计相应特征并与基于深度学习的语义特征整合作为整体空间信息。对于时间信息，除基于深度学习的运动特征外，我们还研究了视频帧间手工设计的亮度一致性，整体时间信息为二者拼接。随后融合空间与时间信息以获得视频的质量感知表示。大量实验结果表明，我们的Light-VQA在LLVE-QA与公开数据集上均优于当前最先进（SOTA）方法。数据集与代码见https://github.com/wenzhouyidu/Light-VQA。
引用
@article{arxiv.2305.09512,
title = {Light-VQA: A Multi-Dimensional Quality Assessment Model for Low-Light Video Enhancement},
author = {Yunlong Dong and Xiaohong Liu and Yixuan Gao and Xunchu Zhou and Tao Tan and Guangtao Zhai},
journal= {arXiv preprint arXiv:2305.09512},
year = {2023}
}