通过侧抑制提升预训练语音模型在低资源语言上的性能
计算与语言
2023-07-03 v1 声音
音频与语音处理
摘要
随着自然语言处理中基于Transformer的双向编码器表示模型的兴起，语音界采纳了其中一些开发方法。因此，引入了Wav2Vec模型以减少获得最先进结果所需的数据。本工作利用这一知识，通过简单地用受生物过程启发的侧抑制层替换微调稠密层，提升了预训练语音模型的性能。我们在低资源语言罗马尼亚语上的实验显示，使用侧抑制层平均改善了12.5%的词错误率（WER）。此外，我们在罗马尼亚语语音语料库和Robin技术采集语料库上分别以1.78% WER和29.64% WER取得了最先进结果。
引用
@article{arxiv.2306.17792,
title = {Towards Improving the Performance of Pre-Trained Speech Models for Low-Resource Languages Through Lateral Inhibition},
author = {Andrei-Marius Avram and Răzvan-Alexandru Smădu and Vasile Păiş and Dumitru-Clementin Cercel and Radu Ion and Dan Tufiş},
journal= {arXiv preprint arXiv:2306.17792},
year = {2023}
}
备注
Accepted at TSP2023