远程呈现视频质量评估
计算机视觉与模式识别
2022-07-21 v1 图像与视频处理
摘要
视频会议包含视频与音频内容，在 COVID-19 大流行迫使数百万人居家工作与学习之际，已导致互联网流量急剧增长。由于这一原因，全球视频会议的互联网流量大幅上升，因此亟需高效且准确的视频质量工具，以监控并感知优化通过 Zoom、Webex、Meet 等流式传输的远程呈现流量。然而，现有模型在对多模态、直播式远程呈现内容进行预测方面的能力有限。本文从多个方面应对远程呈现视频质量评估（TVQA）的重大挑战。首先，我们通过从不同国家收集约 2k 个远程呈现视频，并在其上众包约 80k 个主观质量标签，缓解了主观标注数据匮乏的问题。利用这一新资源，我们基于具有独立通路以分别计算视觉与音频质量预测的多模态学习框架，创建了首个面向直播的在线视频质量预测框架。我们的全能模型能够在块、帧、片段以及音视频层级提供准确的质量预测。我们的模型在现有质量数据库与我们的新 TVQA 数据库上均以显著更低的计算开销取得最先进（SOTA）性能，使其成为移动与嵌入式系统的一个颇具吸引力的解决方案。
引用
@article{arxiv.2207.09956,
title = {Telepresence Video Quality Assessment},
author = {Zhenqiang Ying and Deepti Ghadiyaram and Alan Bovik},
journal= {arXiv preprint arXiv:2207.09956},
year = {2022}
}
备注
ECCV 2022