DyPCL：用于肌肉无力语音识别的动态音素级对比学习
计算与语言
2025-02-04 v2 声音
音频与语音处理
摘要
肌肉无力语音识别常因肌肉无力严重程度的内在多样性以及与正常语音的外在差异导致性能下降。为弥合这一差距，我们提出了一种动态音素级对比学习（DyPCL）方法，通过该方法可获得跨不同说话人的不变表示。我们将语音信号分割为音素段，以实现音素级对比学习，利用动态连接主序列时间分类（CTC）进行对齐。不同于以往侧重于句子级嵌入的研究，我们的粒度学习允许对语音的细微部分进行辨识。此外，我们引入动态课程学习，该方法根据音素的音素相似性逐渐从易于区分的负样本过渡到难以区分的负样本。我们的难度分层训练方法缓解了说话人内在变异性，更好地识别具有挑战性的语音。我们在UASpeech数据集上进行评估，DyPCL相对于基线模型实现了在整体肌肉无力组中平均22.10%的词错误率（WER）相对降低。
引用
@article{arxiv.2501.19010,
title = {DyPCL: Dynamic Phoneme-level Contrastive Learning for Dysarthric Speech Recognition},
author = {Wonjun Lee and Solee Im and Heejin Do and Yunsu Kim and Jungseul Ok and Gary Geunbae Lee},
journal= {arXiv preprint arXiv:2501.19010},
year = {2025}
}
备注
NAACL 2025 main conference, 9pages, 1 page appendix