RTTD-ID：面向聋人学生的多说话人轨迹字幕系统
人机交互
2019-09-19 v1
摘要
失聪及重听学生在课堂上无法听见，也无法完整获取口语信息。他们可使用将语音显示为文本的字幕等便利措施。然而，与听力正常的同伴相比，字幕便利措施并未提供平等的获取途径，因为他们专注于在平板上阅读字幕，而无法看到谁在说话。这种视觉隔离导致学生受挫，并在含实验环节的入门工程课程中面临成绩不佳或退学的风险。它也导致了他们缺乏融入感与归属感。我们报告了对一种实时文本显示与说话人识别（RTTD-ID）系统的评估，该系统显示小组中说话人的位置。RTTD-ID 旨在减少在有多名说话人（例如实验环境中）时识别和跟随当前说话人的挫败感。它有三种不同的显示方案来识别当前说话人的位置，帮助聋人学生同时观看说话人的言语及其表情与动作。我们评估了三种 RTTD 说话人识别方法：1）传统式：字幕固定在一处，观看者搜寻说话人；2）指针式：字幕固定在一处，并显示指向说话人的指针；3）弹出式：字幕在说话人旁边“弹出”。我们通过失聪及重听用户的评估收集了定量与定性信息。用户偏好指针识别方法甚于传统式与弹出式方法。
引用
@article{arxiv.1909.08172,
title = {RTTD-ID: Tracked Captions with Multiple Speakers for Deaf Students},
author = {Raja Kushalnagar and Gary Behm and Kevin Wolfe and Peter Yeung and Becca Dingman and Shareef Ali and Abraham Glasser and Claire Ryan},
journal= {arXiv preprint arXiv:1909.08172},
year = {2019}
}
备注
ASEE 2018 conference, 8 pages, 4 figures