面向用户生成内容的音视频质量评估：数据库与方法
图像与视频处理
2024-01-18 v2 计算机视觉与模式识别
多媒体
摘要
随着用户生成内容 (UGC) 的爆炸式增长，UGC 视频质量评估 (VQA) 对于提升用户的质量体验 (QoE) 变得越来越重要。然而，现有大多数 UGC VQA 研究仅关注视频的视觉失真，忽略了用户的 QoE 同样依赖于伴随的音频信号。本文首次开展研究以解决 UGC 音频与视频质量评估 (AVQA) 问题。具体而言，我们构建了首个 UGC AVQA 数据库，命名为 SJTU-UAV 数据库，其包含 520 段真实场景中的 UGC 音视频 (A/V) 序列，并开展了用户研究以获得 A/V 序列的平均意见分。随后从音频和视频两方面对 SJTU-UAV 数据库的内容进行分析以展示数据库特性。我们还设计了一系列 AVQA 模型，通过支持向量回归器 (SVR) 融合主流 VQA 方法与音频特征。我们在三个数据库上验证了所提模型的有效性。实验结果表明，在音频信号的辅助下，VQA 模型能更准确地评估感知质量。该数据库将被发布以促进进一步研究。
引用
@article{arxiv.2303.02392,
title = {Audio-Visual Quality Assessment for User Generated Content: Database and Method},
author = {Yuqin Cao and Xiongkuo Min and Wei Sun and Xiaoping Zhang and Guangtao Zhai},
journal= {arXiv preprint arXiv:2303.02392},
year = {2024}
}