Sporthesia:利用自然语言增强体育视频
人机交互
2024-05-14 v3 图形学
摘要
增强型体育视频通过结合可视化与视频效果在实际场景中呈现数据,能够以引人入胜的方式传达见解,因而在全球体育爱好者中日益流行。然而,制作增强型体育视频仍是一项具有挑战性的任务,需要大量时间与视频编辑技能。另一方面,体育见解常通过自然语言传达,例如解说、口头陈述与文章中,但通常缺乏视觉线索。因此,本工作旨在通过使分析人员能够利用自然语言所表达的见解直接创建嵌入视频中的可视化,来简化增强型体育视频的创作。为实现该目标,我们提出三步法——1)检测文本中可可视化的实体,2)将这些实体映射为可视化,3)调度这些可视化随视频播放——并分析了155个体育视频片段及配套解说以完成这些步骤。基于我们的分析,我们设计并实现了Sporthesia,一个以球拍类体育视频与文字解说为输入、输出增强视频的概念验证系统。我们在两个示例场景中展示了Sporthesia的适用性,即利用文本创作增强型体育视频,以及基于听觉评论增强历史体育视频。技术评估显示Sporthesia在检测文本中可可视化实体方面达到高准确率(F1-score为0.9)。一项有八位体育分析人员的专家评估表明,我们的语言驱动创作方法具有高效用、有效性与满意度,并为未来改进与机遇提供了见解。
引用
@article{arxiv.2209.03434,
title = {Sporthesia: Augmenting Sports Videos Using Natural Language},
author = {Chen Zhu-Tian and Qisen Yang and Xiao Xie and Johanna Beyer and Haijun Xia and Yingcai Wu and Hanspeter Pfister},
journal= {arXiv preprint arXiv:2209.03434},
year = {2024}
}
备注
10 pages, IEEE VIS conference