EmoCo：演示视频中情绪一致性的可视化分析
计算机视觉与模式识别
2019-10-10 v2 人机交互
多媒体
摘要
情绪在人类交流与公开演示中扮演关键角色。人类情绪通常通过多种模态表达。因此，探索多模态情绪及其一致性，对于理解演示中的情绪表达与提升演示技巧极具价值。然而，人工观看并研究演示视频往往枯燥且耗时。目前缺乏工具支持以开展高效、深入的多层次分析。为此，本文介绍 EmoCo，一种交互式可视化分析系统，用于促进演示视频中人脸、文本与音频模态间情绪一致性的高效分析。我们的可视化系统具备通道一致性视图与句子聚类视图，二者共同使用户快速概览情绪一致性及其时间演化。此外，细节视图与词语视图分别支持从句子级与词语级进行详细探索与比较。我们基于 TED 演讲视频并通过与两位领域专家访谈的两种使用场景，对提出的系统与可视化技术进行了充分评估。结果表明，我们的系统在洞察演示中情绪一致性方面有效。
引用
@article{arxiv.1907.12918,
title = {EmoCo: Visual Analysis of Emotion Coherence in Presentation Videos},
author = {Haipeng Zeng and Xingbo Wang and Aoyu Wu and Yong Wang and Quan Li and Alex Endert and Huamin Qu},
journal= {arXiv preprint arXiv:1907.12918},
year = {2019}
}
备注
11 pages, 8 figures. Accepted by IEEE VAST 2019