Imputer：通过填补与动态规划的序列建模
音频与语音处理
2020-04-23 v2 计算与语言
机器学习
声音
摘要
本文提出 Imputer，一种通过填补迭代生成输出序列的神经序列模型。Imputer 是一种迭代生成模型，仅需常数步数的生成步骤，与输入或输出 token 的数量无关。Imputer 可被训练以近似对所有可能的输入与输出序列间对齐以及所有可能的生成顺序进行边际化。我们提出了一种可处理的动态规划训练算法，其给出了对数边际似然的下界。当应用于端到端语音识别时，Imputer 优于先前的非自回归模型，并取得了与自回归模型相竞争的结果。在 LibriSpeech test-other 上，Imputer 取得了 11.1 的 WER，优于 CTC 的 13.0 WER 和 seq2seq 的 12.5 WER。
引用
@article{arxiv.2002.08926,
title = {Imputer: Sequence Modelling via Imputation and Dynamic Programming},
author = {William Chan and Chitwan Saharia and Geoffrey Hinton and Mohammad Norouzi and Navdeep Jaitly},
journal= {arXiv preprint arXiv:2002.08926},
year = {2020}
}