无监督预训练可良好跨语言迁移
音频与语音处理
2020-02-10 v1 计算与语言
机器学习
声音
摘要
自动语音识别（ASR）的跨语言与多语言训练在有监督设定下已被广泛研究，这假设存在语音与正字转写的平行语料库。近来，对比预测编码（CPC）算法被提出用于以无标签数据预训练 ASR 系统。本文中，我们研究无监督预训练是否能良好地跨语言迁移。我们表明，对 CPC 预训练的轻微修改所提取的特征可良好迁移至其他语言，达到甚至优于有监督预训练。这展示了无监督方法对于语言资源匮乏语言的潜力。
引用
@article{arxiv.2002.02848,
title = {Unsupervised pretraining transfers well across languages},
author = {Morgane Rivière and Armand Joulin and Pierre-Emmanuel Mazaré and Emmanuel Dupoux},
journal= {arXiv preprint arXiv:2002.02848},
year = {2020}
}
备注
6 pages. Accepted at ICASSP 2020. However the 2 pages of supplementary materials will appear only in the arxiv version