用于自动语音识别的引导式对比自监督预训练
计算与语言
2023-02-06 v1 声音
音频与语音处理
摘要
对比预测编码（CPC）是一种表征学习方法，它最大化给定模型的中间潜在表征与输出之间的互信息。它可用于有效初始化自动语音识别（ASR）模型的编码器。我们提出一种称为引导式对比预测编码（GCPC）的CPC新改进。我们的方法最大化来自先验知识模型的表征与正在预训练的模型输出之间的互信息，从而在预训练期间实现先验知识注入。我们在三项ASR任务上验证该方法：德语、法语与英语。与从头训练相比，我们的方法在所有三个数据集上均优于CPC预训练，分别在德语、法语和英语（Librispeech）任务上实现相对词错率（WER）降低4.44%、6.55%和15.43%，而CPC预训练仅分别带来2.96%、1.01%和14.39%的相对WER降低。
引用
@article{arxiv.2210.12335,
title = {Guided contrastive self-supervised pre-training for automatic speech recognition},
author = {Aparna Khare and Minhua Wu and Saurabhchand Bhati and Jasha Droppo and Roland Maas},
journal= {arXiv preprint arXiv:2210.12335},
year = {2023}
}
备注
To appear in SLT 2022