迈向对增强型 360 度视频中显著性预测的更好理解
图像与视频处理
2020-07-21 v2 计算机视觉与模式识别
人机交互
摘要
增强现实 (AR) 将数字内容叠加到真实世界上。在 AR 系统中，正确且精确地估计用户的视觉注视与头部运动，可通过将更多计算资源分配至感兴趣区域来提升体验质量。然而，关于理解用户在使用 AR 系统时的视觉探索或建模 AR 视觉注意的研究尚不充分。为弥合真实场景与虚拟信息增强场景间显著性预测的鸿沟，我们构建了 ARVR 显著性数据集，包含 20 人观看的 12 段多样化视频。采用虚拟现实 (VR) 技术模拟真实世界。物体识别与跟踪作为增强内容的标注被融合到全景视频中。原始与增强视频的头部及眼部运动显著性标注被收集并共同构成 ARVR 数据集。我们还设计了一个能够解决 AR 中显著性预测问题的模型。提取局部块图像以模拟视口并抵消投影畸变。提取局部视口中的显著视觉线索以构成空间特征。光流信息被估计为重要的时间特征。我们还考虑了虚拟信息与现实之间的相互作用。区分增强信息的构成，并估计对抗性增强与互补性增强的联合效应。我们以每个块图像为一个节点生成图。在图上边权的计算（被解释为马尔可夫链）中同时考虑了视觉显著性机制与观看行为特征。通过该链的平衡分布估计分配到每个块图像的视觉注意比例。
引用
@article{arxiv.1912.05971,
title = {Toward Better Understanding of Saliency Prediction in Augmented 360 Degree Videos},
author = {Yucheng Zhu and Xiongkuo Min and DanDan Zhu and Ke Gu and Jiantao Zhou and Guangtao Zhai and Xiaokang Yang and Wenjun Zhang},
journal= {arXiv preprint arXiv:1912.05971},
year = {2020}
}