利用CycleGAN与域间损失改进半监督端到端自动语音识别
计算与语言
2022-10-24 v1 声音
音频与语音处理
摘要
我们提出一种结合CycleGAN与域间损失的半监督端到端自动语音识别新方法。域间损失利用共享网络提取语音与文本输入的中间共享表示。CycleGAN利用循环一致损失与恒等映射损失，在从一个域转换到另一域后保留输入特征的相关特性。因此，两种方法均适用于在未配对语音-文本输入上训练端到端模型。本文中，我们利用域间损失与CycleGAN的优势，获得更好的未配对语音与文本输入共享表示，从而改进语音到文本映射。我们在WSJ eval92与Voxforge（非英语）上的实验结果较基线降低8~8.5%字符错误率，在LibriSpeech test_clean上的结果也显示明显提升。
引用
@article{arxiv.2210.11642,
title = {Improving Semi-supervised End-to-end Automatic Speech Recognition using CycleGAN and Inter-domain Losses},
author = {Chia-Yu Li and Ngoc Thang Vu},
journal= {arXiv preprint arXiv:2210.11642},
year = {2022}
}
备注
6 pages + 2 references, 6 figures, accepted by SLT2022