使用 wav2vec 2.0 检测口吃治疗中的不流畅现象
音频与语音处理
2026-01-27 v2 计算与语言
声音
摘要
口吃是一种多样的言语障碍，会损害个体的沟通能力。口吃者（PWS）通常使用言语治疗来应对其状况。改进针对此类非典型言语人群的语音识别系统或跟踪言语治疗的有效性，需要能够检测不流畅现象，同时能够识别治疗中习得的言语技巧的系统。本文表明，在一个包含口吃言语的大型英语语料库上，结合多任务学习，微调 wav2vec 2.0 [1] 用于口吃分类，可以提升通用 wav2vec 2.0 特征在检测言语中口吃现象的有效性，无论是在单一语言内还是跨语言。我们使用从微调模型中提取的特征，训练支持向量机分类器，在 FluencyBank [2] 和以治疗为中心的德语 Kassel State of Fluency (KSoF) [3] 数据集上评估我们的方法，针对六种不同的口吃相关事件类型：阻塞、延长、声音重复、单词重复、插入语，以及——治疗特有的——言语修正。使用微调模型的嵌入，在 F1 分数上带来了高达 27% 的相对分类性能提升。
引用
@article{arxiv.2204.03417,
title = {Detecting Dysfluencies in Stuttering Therapy Using wav2vec 2.0},
author = {Sebastian P. Bayerl and Dominik Wagner and Elmar Nöth and Korbinian Riedhammer},
journal= {arXiv preprint arXiv:2204.03417},
year = {2026}
}
备注
Accepted at Interspeech 2022