基于多模态与多视角传感器球员跟踪及姿态估计的体育分析与 VR 观看系统
计算机视觉与模式识别
2024-05-03 v1
摘要
体育分析与观看在当前的体育领域发挥着关键作用，不仅为教练和运动员提供重要价值，也为球迷和媒体带来显著价值。近年来，虚拟现实（VR）和增强现实（AR）技术的快速发展为观看比赛引入了新平台。在 VR/AR 中进行体育比赛可视化是一项革命性技术，为观众提供了全新的沉浸式观看体验。然而，该领域仍缺乏相关研究。在本工作中，我们首次提出了一套用于体育比赛分析和 VR/AR 平台实时可视化的综合系统。首先，我们利用多视角 LiDAR 和相机收集多模态比赛数据。随后，我们提出了一种基于有限监督数据的多球员跟踪和姿态估计框架，该框架从点云和图像中提取精确的球员位置和动作。此外，我们对球员进行虚拟化身建模以获取其 3D 模型。最终，利用这些 3D 球员数据，我们在 VR/AR 上进行比赛分析和实时可视化。大量定量实验证明了我们多球员跟踪和姿态估计框架的准确性和鲁棒性。可视化结果展示了我们的体育可视化系统在 VR/AR 设备观看比赛领域的巨大潜力。我们收集的多模态比赛数据集和所有相关代码将很快发布。
引用
@article{arxiv.2405.01112,
title = {Sports Analysis and VR Viewing System Based on Player Tracking and Pose Estimation with Multimodal and Multiview Sensors},
author = {Wenxuan Guo and Zhiyu Pan and Ziheng Xi and Alapati Tuerxun and Jianjiang Feng and Jie Zhou},
journal= {arXiv preprint arXiv:2405.01112},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2312.06409