CTC为何会导致尖峰行为？
机器学习
2021-06-07 v2 人工智能
计算与语言
神经与进化计算
声音
音频与语音处理
统计理论
统计理论
摘要
CTC模型的尖峰行为在实验上已广为人知。然而，对于尖峰行为为何发生以及这是否是一种良好性质，目前尚缺乏理解。我们对CTC损失及相关训练准则的尖峰行为与梯度下降收敛性质提供了形式化分析。我们的分析深入阐释了尖峰行为发生的原因以及其在何时是次优的。在一个任何模型都应轻易学会的简单例子中，我们证明从均匀初始化出发、用CTC训练的的前馈神经网络会收敛到具有100%错误率的尖峰行为。我们的分析进一步解释了为何CTC仅在与空白标签配合时才表现良好。我们进一步证明，尖峰行为不会出现在其他相关损失（包括标签先验模型）上，而这改善了收敛性。
引用
@article{arxiv.2105.14849,
title = {Why does CTC result in peaky behavior?},
author = {Albert Zeyer and Ralf Schlüter and Hermann Ney},
journal= {arXiv preprint arXiv:2105.14849},
year = {2021}
}