Sportify:用于体育视频的嵌入式可视化与人格化叙事的问答系统
人机交互
2024-08-12 v1
摘要
随着篮球的流行度不断上升,球迷常常会感到困惑和头疼,因为比赛节奏快且内容复杂。篮球战术涉及一系列复杂的动作,需具备大量知识才能充分理解。这种复杂性导致需要额外的信息和解释,这些信息会分散球迷对比赛的注意力。为解决这些挑战,我们提出了 Sportify——一个集成叙事与嵌入式可视化的视觉问答系统,用于阐明篮球战术问题,帮助球迷理解比赛的各个方面。我们提出了三种新型动作可视化(即传球、切割和挡篮),用于展示关键动作序列。为解释球员行为背后的推理与逻辑,我们利用大语言模型(LLM)生成叙事。我们采用讲故事的方法,从第一人称和第三人称视角处理复杂情景,并融合动作可视化。我们邀请篮球球迷进行评估,以调查其对战术理解的影响,以及不同叙事人物视角对理解复杂战术及动作可视化的影响。我们的评估结果表明,Sportify 能够深化对战术的洞察,提升观赛体验。此外,第三人称叙事有助于人们获得深入的比赛解释,而第一人称叙事则增强了球迷的游戏参与感。
引用
@article{arxiv.2408.05123,
title = {Sportify: Question Answering with Embedded Visualizations and Personified Narratives for Sports Video},
author = {Chunggi Lee and Tica Lin and Hanspeter Pfister and Chen Zhu-Tian},
journal= {arXiv preprint arXiv:2408.05123},
year = {2024}
}
备注
14 pages, 8 figures, conference