Vega-Video：将视频集成到图形语法中
人机交互
2026-04-29 v1
摘要
视频数据正越来越多地与常规数据一起用于交互式数据探索，使得探索和呈现混合模态数据的数据接口变得必要。然而，将视频集成到可视化中仍然困难，因为其不同的方法论以及固有的性能挑战。我们确定了三类视频数据可视化——同步、注释和转换——并将其整合到 Vega 声明式语法中。我们展示，这些抽象概念能够实现高性能实现。为解决 Vega 的瞬时数据流与视频播放器状态之间的矛盾，我们引入一种分段信号架构，在保留声明式语义的同时遮蔽视频更新延迟。在编译时检测连续scrubbing交互，以应用编码感知优化，提高响应性可提高最高可达4倍。我们还重新利用点播协议将视频实时转换，使即使在多小时编排中也能实现亚200毫秒的更新。这些贡献使得常规数据和视频数据可视化的无缝集成成为可能。
引用
@article{arxiv.2604.24958,
title = {Vega-Video: Integrating Video into the Grammar of Graphics},
author = {Dominik Winecki and Arnab Nandi},
journal= {arXiv preprint arXiv:2604.24958},
year = {2026}
}