一种基于 Conformer 和 BiLSTM 的端到端口吃检测方法
音频与语音处理
2024-11-15 v1
摘要
口吃是一种神经发育性言语障碍，其特征是停顿、感叹、重复和延长等常见言语症状。言语语言病理学家通常通过观察这些症状来评估口吃的类型和严重程度。虽然存在许多有效的端到端口吃检测方法，但一个常被忽视的挑战是该过程中涉及任务间的不确定关系。采用合适的多任务策略可提升口吃检测性能。本文提出了一种新颖的口吃事件检测模型，旨在帮助言语语言病理学家评估口吃的类型和严重程度。首先，Conformer 模型从口吃语音中提取声学特征，随后通过长短期记忆（LSTM）网络捕捉上下文信息。最后，我们探索了用于口吃的多任务学习，并提出了一种有效的多任务策略。实验结果表明，我们的模型优于当前最先进的口吃检测方法。在基于 AS-70 数据集 [1] 的 SLT 2024 口吃语音挑战赛中，与基线方法相比，我们的模型将平均 F1 分数提高了 24.8%，并获得第一名。在此基础上，我们分别对 LSTM 和多任务学习策略进行了广泛的相关实验。结果显示，与基线方法相比，我们提出的方法将平均 F1 分数提高了 39.8%。
引用
@article{arxiv.2411.09479,
title = {An End-To-End Stuttering Detection Method Based On Conformer And BILSTM},
author = {Xiaokang Liu and Changqing Xu and Yudong Yang and Lan Wang and Nan Yan},
journal= {arXiv preprint arXiv:2411.09479},
year = {2024}
}
备注
7 pages, 3 figures, 7 tables