基于深度迁移学习确定的与嗜睡相关的语音任务
计算与语言
2021-11-30 v1
摘要
在注意力关键情境中过度嗜睡可能导致不良事件，例如车祸。检测和监测嗜睡有助于防止这些不良事件发生。在本文中，我们使用 Voiceome 数据集从 1,828 名参与者中提取语音，开发了一种利用 Hidden-Unit BERT (HuBERT) 语音表示的深度迁移学习模型，用于检测个体的嗜睡。语音在睡眠检测中是一种未被充分利用的数据源，但由于语音采集简便、经济且非侵入性，它为嗜睡检测提供了一种有前景的资源。为了寻求关于个体语音任务重要性的收敛证据，我们采用了两种互补的技术。我们的第一种技术——掩码，通过组合所有语音任务、掩码语音中的选定响应并观察模型准确率的系统性变化来评估任务重要性。我们的第二种技术——单独训练，比较了多个模型的准确率，这些模型使用相同的架构，但分别在语音任务的不同子集上训练。我们的评估表明，性能最佳的模型利用了来自波士顿命名测验的记忆回忆任务和类别命名任务，其准确率分别达到 80.07%（F1 分数为 0.85）和 81.13%（F1 分数为 0.89）。
引用
@article{arxiv.2111.14684,
title = {Speech Tasks Relevant to Sleepiness Determined with Deep Transfer Learning},
author = {Bang Tran and Youxiang Zhu and Xiaohui Liang and James W. Schwoebel and Lindsay A. Warrenburg},
journal= {arXiv preprint arXiv:2111.14684},
year = {2021}
}