基于球面卷积的有限视场反馈下360度视频组播中的视场预测
计算机视觉与模式识别
2022-02-01 v1 多媒体
摘要
视场（Field of view, FoV）预测在360度视频组播中至关重要，而后者是新兴虚拟现实（Virtual Reality, VR）与增强现实（Augmented Reality, AR）应用的关键组成部分。当前大多数结合显著性检测与FoV信息的预测方法，既未考虑360度视频投影的畸变会使传统卷积网络的权值共享失效，也未充分考虑获取完整多用户FoV信息的困难，从而导致预测性能下降。本文提出一种球面卷积赋能的FoV预测方法，这是一种将360度视频中提取的显著特征与有限FoV反馈信息相结合的多源预测框架。我们使用球面卷积神经网络（CNN）替代传统二维CNN，以消除视频投影畸变引起的权值共享失效问题。具体而言，通过基于球面卷积的显著性检测模型提取显著时空特征，之后将有限反馈FoV信息表示为基于球面卷积赋能的门控循环单元网络的时间序列模型。最后，结合提取的显著视频特征预测未来用户FoV。实验结果表明，所提方法的性能优于其他预测方法。
引用
@article{arxiv.2201.12525,
title = {Spherical Convolution empowered FoV Prediction in 360-degree Video Multicast with Limited FoV Feedback},
author = {Jie Li and Ling Han and Cong Zhang and Qiyue Li and Zhi Liu},
journal= {arXiv preprint arXiv:2201.12525},
year = {2022}
}