与我交谈时看着我：一个使语音助手能够识别错误的视频数据集
人机交互
2021-04-16 v1
摘要
与语音助手交互的用户常因其频繁出错且无法对反馈性暗示作出响应而感到沮丧。我们引入了一个包含 21 名参与者与语音助手交互的开源视频数据集，并探索利用该数据集实现自动错误识别以辅助自我修复的可能性。该数据集包含从智能音箱视角出发、参与者与语音助手自由交互时面部的裁剪与标注视频。为验证数据集，我们通过让众包工作者观看参与者反应的无声视频片段来识别语音助手错误，从而模拟了一个机器学习分类器。我们发现若干趋势表明，仅从参与者的面部反应即可判断语音助手的表现。本工作提出将交互响应的诱发数据集作为在广泛应用场景中提升语音助手错误识别与修复的关键一步。
引用
@article{arxiv.2104.07153,
title = {Look at Me When I Talk to You: A Video Dataset to Enable Voice Assistants to Recognize Errors},
author = {Andrea Cuadra and Hansol Lee and Jason Cho and Wendy Ju},
journal= {arXiv preprint arXiv:2104.07153},
year = {2021}
}