基于 Transformer 的语音识别模型从捷克语到斯洛伐克语的迁移学习
计算与语言
2024-07-26 v1
摘要
本文比较了几种基于 Transformer 架构训练斯洛伐克语语音识别模型的方法。具体而言，我们探索了从已有的捷克语预训练 Wav2Vec 2.0 模型向斯洛伐克语进行迁移学习的方法。我们在三个斯洛伐克语数据集上展示了所提方法的优势。我们的斯洛伐克语模型在预训练阶段之初从捷克语模型初始化权重时取得了最佳结果。我们的结果表明，捷克语预训练模型中存储的知识可被成功复用以解决斯洛伐克语任务，甚至优于大得多的公开多语言模型。
引用
@article{arxiv.2306.04399,
title = {Transfer Learning of Transformer-based Speech Recognition Models from Czech to Slovak},
author = {Jan Lehečka and Josef V. Psutka and Josef Psutka},
journal= {arXiv preprint arXiv:2306.04399},
year = {2024}
}
备注
Accepted to TSD 2023