KVQ:快手短视频质量评价
图像与视频处理
2024-02-21 v2 计算机视觉与模式识别
摘要
以快手和TikTok为代表的短视频UGC视频平台,凭借用户友好的互动性和万花筒般的创作等优势,已成为一种新兴且不可替代的主流媒体形式。然而,不断发展的内容生成模式(如特效)和复杂的处理流程(如去伪影)给当前的UGC视频质量评价带来了显著挑战:(i) 模糊的内容阻碍了对质量决定区域的识别。(ii) 多样且复杂的混合失真难以区分。为应对上述挑战并助力短视频的发展,我们构建了首个大规模万花筒短视频质量评价数据库,命名为KVQ,其中包含600个用户上传的短视频和3600个经过多样化实际处理流程(包括预处理、转码和增强)处理的视频。其中,每个视频的绝对质量分数以及难以区分样本间的部分排序分数,均由一组专注于图像处理的专业研究人员提供。基于此数据库,我们提出了首个短视频质量评价器,即KSVQE,它使质量评价器能够利用大型视觉语言模型(即CLIP)的内容理解能力来识别质量决定语义,并通过失真理解模块来区分失真。实验结果证明了KSVQE在我们的KVQ数据库和流行的VQA数据库上的有效性。
引用
@article{arxiv.2402.07220,
title = {KVQ: Kwai Video Quality Assessment for Short-form Videos},
author = {Yiting Lu and Xin Li and Yajing Pei and Kun Yuan and Qizhi Xie and Yunpeng Qu and Ming Sun and Chao Zhou and Zhibo Chen},
journal= {arXiv preprint arXiv:2402.07220},
year = {2024}
}
备注
19 pages