任务向量算术可缓解合成语音识别中的合成到真实鸿沟
音频与语音处理
2024-10-08 v3 人工智能
计算与语言
机器学习
声音
摘要
合成数据因文本转语音模型的可用性而在语音识别中被广泛使用，这些模型促进了对以前无法预见的文本领域的适应。然而，现有方法在对自动语音识别（ASR）模型在合成数据上进行微调时表现不佳，因为它们受到常见的合成到真实鸿沟（synthetic-to-real gap）的影响。在本文中，我们发现任务向量算术在缓解这一鸿沟方面非常有效。我们提出的方法，即 SYN2REAL 任务向量，在 SLURP 数据集上相对于基线平均提高了 10.03% 的词错误率（WER）改进。此外，我们展示了当我们有来自多个不同领域的真实语音时，对 SYN2REAL 任务向量进行平均运算，可以进一步适配原始 ASR 模型，以在目标文本领域中获得更好的性能。
引用
@article{arxiv.2406.02925,
title = {Task Arithmetic can Mitigate Synthetic-to-Real Gap in Automatic Speech Recognition},
author = {Hsuan Su and Hua Farn and Fan-Yun Sun and Shang-Tse Chen and Hung-yi Lee},
journal= {arXiv preprint arXiv:2406.02925},
year = {2024}
}
备注
EMNLP 2024