全景音视频信号的感知质量评估
计算机视觉与模式识别
2023-07-21 v1 声音
音频与语音处理
图像与视频处理
摘要
全景视频(ODVs)在医疗、教育、广告、旅游等应用领域发挥着日益重要的作用。评估ODVs的质量对服务提供商改善用户体验质量(QoE)具有重要意义。然而,现有大多数ODVs质量评估研究仅关注视频的视觉失真,而忽略了整体QoE也依赖于伴随的音频信号。本文首先建立了一个大规模全景视频音视频质量评估数据集,包含由15个高质量原始全景音视频内容生成的375个失真全景音视频(A/V)序列,以及相应的感知音视频质量分数。然后,我们设计了三种全参考全景音视频质量评估(OAVQA)的基线方法,通过多模态融合策略结合现有的最先进单模态音频与视频QA模型。我们在数据集上验证了A/V多模态融合方法对OAVQA的有效性,为全景QoE评估提供了新基准。我们的数据集可在 https://github.com/iamazxl/OAVQA 获取。
引用
@article{arxiv.2307.10813,
title = {Perceptual Quality Assessment of Omnidirectional Audio-visual Signals},
author = {Xilei Zhu and Huiyu Duan and Yuqin Cao and Yuxin Zhu and Yucheng Zhu and Jing Liu and Li Chen and Xiongkuo Min and Guangtao Zhai},
journal= {arXiv preprint arXiv:2307.10813},
year = {2023}
}
备注
12 pages, 5 figures, to be published in CICAI2023