中文

Data Player:具有叙述-动画协同的自动数据视频生成

人机交互 2023-08-10 v1

摘要

数据可视化与叙述常被结合以有效传达数据故事。在各类数据叙事形式中,数据视频正受到越来越多的关注。这些视频提供对数据图表的直观解读,同时生动阐述底层数据洞见。然而,数据视频的制作需要多样化的专业技能与大量人工,包括理解叙述、将视觉元素与叙述片段关联、设计与制作动画、录制音频叙述以及将音频与视觉动画同步。为简化该过程,本文提出一种称为 Data Player 的新方法,能够自动生成具有叙述-动画协同的动态数据视频。该方法降低了创建富含叙述的数据视频的技术门槛。为实现叙述-动画协同,Data Player 在可视化与文本输入间构建引用。具体而言,它首先从可视化中提取数据至表格,随后利用大语言模型建立文本与视觉间的语义连接,最后将动画设计知识编码为计算级底层约束,从而推荐与文本转语音技术生成的音频叙述相匹配的合适动画预设。我们通过示例画廊、用户研究与专家访谈评估了 Data Player 的有效性。评估结果表明,Data Player 可生成与人工制作相当的高质量数据视频。

关键词

引用

@article{arxiv.2308.04703,
  title  = {Data Player: Automatic Generation of Data Videos with Narration-Animation Interplay},
  author = {Leixian Shen and Yizhi Zhang and Haidong Zhang and Yun Wang},
  journal= {arXiv preprint arXiv:2308.04703},
  year   = {2023}
}

备注

11 pages, 5 figures, accepted by IEEE Transactions on Visualization and Computer Graphics (Proc. IEEE VIS'23)