利用 Delta SSL 嵌入增强儿童语音识别
计算与语言
2026-01-29 v1 声音
音频与语音处理
摘要
自监督学习（SSL）模型在诸多语音任务上取得了令人印象深刻的结果，但儿童自动语音识别（ASR）仍具有挑战性，这是由于数据有限且预训练领域不匹配所致。在对儿童语音进行微调后，SSL模型的表示空间会发生偏移。我们假设，Delta SSL嵌入——即微调后模型的嵌入与其预训练模型嵌入之间的差异——编码了特定于任务的信息，可补充来自另一个SSL模型的微调特征。我们在MyST儿童语料库上评估了多种融合策略。结果表明，与微调嵌入融合相比，Delta嵌入融合对WavLM可实现最高10%的相对WER降低，对W2V2可实现4.4%的降低。值得注意的是，融合WavLM与Delta W2V2嵌入可实现9.64的WER，在MyST语料库上的SSL模型中树立了新的SOTA。这些发现表明Delta嵌入的有效性，并突显了特征融合作为推动儿童ASR发展的有前景的方向。
引用
@article{arxiv.2601.20142,
title = {Mind the Shift: Using Delta SSL Embeddings to Enhance Child ASR},
author = {Zilai Wang and Natarajan Balaji Shankar and Kaiyuan Zhang and Zihan Wang and Abeer Alwan},
journal= {arXiv preprint arXiv:2601.20142},
year = {2026}
}
备注
ICASSP 2026