用于序列学习的最优补全蒸馏
机器学习
2019-01-16 v2 人工智能
计算与语言
机器学习
摘要
我们提出最优补全蒸馏（OCD），一种基于编辑距离优化序列到序列模型的训练过程。OCD 高效，自身无超参数，且不需要预训练或与条件对数似然联合优化。给定模型生成的局部序列，我们首先使用高效的动态规划算法识别出使总编辑距离最小的最优后缀集合。然后，对于生成序列的每个位置，我们使用一个目标分布，该分布在所有最优后缀的首个词元上赋予相等概率。OCD 在端到端语音识别上取得了最先进的性能，在 Wall Street Journal 和 Librispeech 数据集上分别实现了 WER 和 WER。
引用
@article{arxiv.1810.01398,
title = {Optimal Completion Distillation for Sequence Learning},
author = {Sara Sabour and William Chan and Mohammad Norouzi},
journal= {arXiv preprint arXiv:1810.01398},
year = {2019}
}