中文

GestureLens:演示视频中手势的可视化分析

人机交互 2022-04-26 v2 机器学习 多媒体

摘要

恰当的手势能够在日常交流与公开演讲中增强信息传递并提升观众参与度。本文提出一种可视化分析方法,通过解析演示视频辅助专业公开演讲教练改进其手势训练实践。人工检查与探索演示视频中的手势使用往往繁琐且耗时。由于缺乏高效方法帮助用户进行手势探索,而手势内在的时间演化及其与语音内容的复杂关联使该任务颇具挑战。本文提出 GestureLens,一个可视化分析系统,以促进演示视频中基于手势与基于内容的手势使用探索。具体而言,探索视图使用户能够快速概览手势的时空分布。动态手部运动首先通过手势空间中的热力图聚合以揭示空间模式,随后分解为两条相互垂直的时间线以揭示时间模式。关系视图通过关联分析与直观字形设计使用户显式探索语音内容与手势间的相关性。视频视图与动态视图分别展示所选手势的上下文与整体动态运动。两个使用场景及与专业演讲教练的专家访谈证明了 GestureLens 在促进演示视频手势探索与分析方面的有效性与实用性。

关键词

引用

@article{arxiv.2204.08894,
  title  = {GestureLens: Visual Analysis of Gestures in Presentation Videos},
  author = {Haipeng Zeng and Xingbo Wang and Yong Wang and Aoyu Wu and Ting Chuen Pong and Huamin Qu},
  journal= {arXiv preprint arXiv:2204.08894},
  year   = {2022}
}

备注

14 pages, 6 figures. A preprint version of a publication at IEEE Transactions on Visualization and Computer Graphics (TVCG), 2022