体积视频观看中的用户行为理解：数据集、分析与预测
多媒体
2023-08-17 v2
摘要
体积视频近年来作为一种新颖且具吸引力的视频范式出现，因其提供具有六自由度(DoF)的沉浸式交互式3D观看体验。与传统的2D或全景视频不同，体积视频需要密集点云、体素、网格或庞大的神经模型来描绘体积场景，这给视频传输带来了极高的带宽负担。用户行为分析，尤其是视口与注视分析，在优先传输用户视口内内容并将其余内容降质以在有限带宽下最大化用户QoE方面起着重要作用。尽管理解用户行为至关重要，但据我们所知，目前尚无包含细粒度用户交互特征的可用的3D体积视频观看数据集，更不用说进一步的分析与行为预测。在本文中，我们首次发布了一个大规模、多维度、多条件下的体积视频观看行为数据集。我们进行了深入分析以理解用户观看体积视频时的行为。揭示了与不同视频和用户相关的视口、注视与运动偏好的有趣发现。我们最终设计了一个基于transformer的视口预测模型，融合注视与运动特征，能够在各种条件下实现高准确率。我们的预测模型有望进一步惠及体积视频传输优化。我们的数据集及相应可视化工具可在 https://cuhksz-inml.github.io/user-behavior-in-vv-watching/ 获取。
引用
@article{arxiv.2308.07578,
title = {Understanding User Behavior in Volumetric Video Watching: Dataset, Analysis and Prediction},
author = {Kaiyuan Hu and Haowen Yang and Yili Jin and Junhua Liu and Yongting Chen and Miao Zhang and Fangxin Wang},
journal= {arXiv preprint arXiv:2308.07578},
year = {2023}
}
备注
Accepted by ACM MM'23