WinDB：免头显且免畸变的全景视频注视学习
计算机视觉与模式识别
2023-09-28 v3
摘要
迄今为止，全景视频中广泛采用的注视采集方式基于头戴式显示器（HMD），用户在佩戴 HMD 自由探索给定全景场景时采集其注视点。然而，这种广泛使用的数据采集方法不足以训练深度模型来准确预测给定全景中包含间歇性显著事件时哪些区域最为重要。主要原因是在使用 HMD 采集注视时总存在“盲zoom”，因为用户无法一直转动头部来探索整个全景场景。因此，采集的注视倾向于被困于某些局部视图，使剩余区域成为“盲zoom”。故而，基于 HMD 方法累积局部视图所采集的注视数据无法准确表征复杂全景场景的整体全局重要性——即注视的主要目的。为克服此问题，本文引入带动态模糊的辅助窗口（WinDB）全景视频注视采集方法，其无需 HMD 且能良好反映区域级重要程度。利用我们的 WinDB 方法，我们发布了新的 PanopticVideo-300 数据集，包含覆盖超过 225 个类别的 300 个全景片段。具体而言，由于使用 WinDB 采集注视无盲zoom，我们的新数据集中存在频繁且密集的“注视转移”——一种长期被以往研究忽视的特殊现象。为此，我们提出一种有效的注视转移网络（FishNet）以应对之。这些新的注视采集工具、数据集与网络极有潜力为 360° 环境下的注视相关研究与应用开启新时代。
引用
@article{arxiv.2305.13901,
title = {WinDB: HMD-free and Distortion-free Panoptic Video Fixation Learning},
author = {Guotao Wang and Chenglizhao Chen and Aimin Hao and Hong Qin and Deng-Ping Fan},
journal= {arXiv preprint arXiv:2305.13901},
year = {2023}
}