面向全景视频的视听显著性
计算机视觉与模式识别
2023-11-10 v1
摘要
全景视频（ODVs）的视觉显著性预测对帮助ODV编码、ODV传输、ODV渲染等已显示出重要意义与必要性。然而，多数研究仅考虑视觉信息用于ODV显著性预测，而音频虽对ODV观看行为有显著影响却鲜被考虑。这主要由于缺少大规模视听ODV数据集及相应分析。因此，本文首先建立最大的全景视频视听显著性数据集（AVS-ODV），其包含全景视频、音频及对应捕获的眼动追踪数据，涵盖静音、单声道与全景声三种视频声音模态。继而基于AVS-ODV数据集分析观察者在各类全景音频模态与视觉场景下的视觉注意行为。此外，我们在AVS-ODV数据集上比较若干最先进显著性预测模型性能并构建新基准。我们的AVS-ODV数据集与基准将公开以促进未来研究。
引用
@article{arxiv.2311.05190,
title = {Audio-visual Saliency for Omnidirectional Videos},
author = {Yuxin Zhu and Xilei Zhu and Huiyu Duan and Jie Li and Kaiwei Zhang and Yucheng Zhu and Li Chen and Xiongkuo Min and Guangtao Zhai},
journal= {arXiv preprint arXiv:2311.05190},
year = {2023}
}
备注
13 pages, 5 figures, conference