基于文本的非言语标注系统用于人际对话的实证用户研究
人机交互
2022-01-03 v1
摘要
随着在线人际对话数量的显著增加以及多模态转录文本的有用性，对自动化多模态转录系统的需求日益增长，以帮助我们更好地理解对话。在本文中，我们评估了三种执行多模态转录的方法。它们分别是：(1) Jefferson——语言学界广泛使用的现有手动系统，(2) MONAH——一个旨在使多模态转录文本可访问且自动化的系统，(3) MONAH+——一个基于 MONAH 构建并可视化机器注意力的系统。基于 104 名参与者的反馈，我们发现：(1) 所有基于文本的方法都显著减少了人类用户的信息量，(2) MONAH 被发现比 Jefferson 更易用，(3) Jefferson 的相对优势在于时间学（节奏/延迟）和副语言学（音高/音量）标注，而 MONAH 的相对优势在于身势学（肢体语言）标注，(4) 基于机器注意力放大单词字体大小令人类用户如同响度一般感到困惑。这些结果为那些希望构建面向大众的、全自动化或人机增强对话分析系统的多模态标注系统设计者提供了考量。
引用
@article{arxiv.2112.14928,
title = {An empirical user-study of text-based nonverbal annotation systems for human-human conversations},
author = {Joshua Y. Kim and Kalina Yacef},
journal= {arXiv preprint arXiv:2112.14928},
year = {2022}
}
备注
45 pages