基于轨迹的运动视频表示模型——TrajSV
计算机视觉与模式识别
2025-08-18 v1 信息检索
摘要
体育分析近年来受到学术界和产业界的广泛关注。尽管在该领域的关注度和努力不断增加，但仍存在若干未解决问题，包括(1) 数据不可得、(2)缺乏有效的轨迹基方法、(3)需要充足的监督标签。本文提出了 TrajSV，一个基于轨迹的框架，解决了现有研究中的各种问题。TrajSV 包含三个组件：数据预处理、Clip 表示网络（CRNet）和视频表示网络（VRNet）。数据预处理模块从体育转播视频中提取球员和球的轨迹。CRNet 利用轨迹增强的 Transformer 模块基于这些轨迹学习剪辑表示。此外，VRNet 通过编码-解码架构聚合剪辑表示和视觉特征来学习视频表示。最后，引入三重对比损失以无监督方式优化视频和剪辑表示。在三个转播视频数据集上进行实验，以验证 TrajSV 在三种体育项目（即足球、篮球和排球）上的有效性，这些实验涉及三个下游应用（即体育视频检索、动作定位和视频描述）。结果表明，TrajSV 在体育视频检索方面实现了最先进的性能，提升幅度近 70%。在动作定位方面超越基线，9 个中的 17 个动作类别实现最先进的结果，在视频描述方面实现近 20% 的提升。此外，我们还随 TrajSV 引入了一个部署系统和三个基于该方法的应用。
引用
@article{arxiv.2508.11569,
title = {TrajSV: A Trajectory-based Model for Sports Video Representations and Applications},
author = {Zheng Wang and Shihao Xu and Wei Shi},
journal= {arXiv preprint arXiv:2508.11569},
year = {2025}
}
备注
This paper has been accepted by TCSVT