基于神经Transformer的巴西葡萄牙语音声学模型

声学模型在大量未标记数据上训练，由自监督学习的语音表示组成，可用于解决下游任务，可能需要在相应下游任务中对模型进行微调。在这项工作中，我们通过Transformer神经网络构建了巴西葡萄牙语音的声学模型。该模型在超过800小时的巴西葡萄牙语音上进行了预训练，使用了预训练技术的组合。使用为检测巴西葡萄牙语使用者呼吸功能不全而收集的标记数据集，我们在以下任务上微调预训练的Transformer神经网络：呼吸功能不全检测、性别识别和年龄组分类。我们将预训练Transformer在这些任务上的性能与没有预训练的Transformer进行了比较，注意到显著的改进。特别是，呼吸功能不全检测的性能获得了迄今为止最好的报告结果，表明这种声学模型作为语音生物标志物方法是一种有前途的工具。此外，性别识别的性能与英语中最先进的模型相当。