在 CTC 中使用上下文相关符号而无需状态绑定决策树
计算与语言
2019-04-24 v2
摘要
深度神经声学模型受益于输出符号的上下文相关(CD)建模。我们考虑直接用 CD 输出训练 CTC 网络，并识别出两个问题。其一是 CTC 中概率的帧级归一化，它引发强烈的语言建模行为，导致过拟合并与外部语言模型相互干扰。其二是面对如三音子或三字符等大量词法单元时泛化能力差。我们通过概率的语句级归一化缓解了前者。后者通常需要用状态绑定决策树缩减 CD 符号数目，而此类树须从经典 GMM-HMM 系统迁移。我们以 CD 符号嵌入网络替代决策树，从而节省参数并确保对未见过及欠采样 CD 符号的泛化。该嵌入网络与声学模型其余部分一同训练，并消除了神经系统中最后一类必须从 GMM-HMM 引导启动的情况。
引用
@article{arxiv.1901.04379,
title = {Towards Using Context-Dependent Symbols in CTC Without State-Tying Decision Trees},
author = {Jan Chorowski and Adrian Lancucki and Bartosz Kostka and Michal Zapotoczny},
journal= {arXiv preprint arXiv:1901.04379},
year = {2019}
}