全景视频中头部运动的预测：一种深度强化学习方法
计算机视觉与模式识别
2019-12-02 v5 机器学习
摘要
全景视频通过让人利用头部运动（HM）控制视场（FoV）来提供沉浸式交互体验。因此，HM在建模人类对于全景视频的注意力方面起着关键作用。本文建立了一个数据库，采集受试者在全景视频序列中的HM。从该数据库我们发现，不同受试者的HM数据具有高度一致性。此外，我们发现深度强化学习（DRL）可用于预测HM位置，其通过最大化智能体动作模仿人类HM扫描路径的奖励来实现。基于我们的发现，我们提出了一种基于DRL的HM预测（DHP）方法，包含离线和在线两个版本，称为offline-DHP和online-DHP。在offline-DHP中，运行多个DRL工作流以确定每帧全景图像中潜在的HM位置。然后，生成潜在HM位置的热图，称为HM图，作为offline-DHP的输出。在online-DHP中，在给定当前观测到的HM位置的情况下估计一名受试者的下一HM位置，这是通过在已学习的offline-DHP模型上开发DRL算法来实现的。最后，实验验证了我们的方法在全景视频HM位置的离线和在线预测中均有效，且学习到的offline-DHP模型可提升online-DHP的性能。
引用
@article{arxiv.1710.10755,
title = {Predicting Head Movement in Panoramic Video: A Deep Reinforcement Learning Approach},
author = {Yuhang Song and Mai Xu and Jianyi Wang and Minglang Qiao and Liangyu Huo and Zulin Wang},
journal= {arXiv preprint arXiv:1710.10755},
year = {2019}
}
备注
15 pages, 10 figures, published on TPAMI 2018