用于快速最大熵训练的类别

最大熵模型被许多人认为是语言建模研究的最有前景的方向之一。然而，长时间的训练使得最大熵研究变得困难。我们提出了一种新型的加速技术：我们改变模型的形式，以使用类别。我们的加速方法通过创建两个最大熵模型来实现，其中第一个模型预测每个单词的类别，第二个模型预测单词本身。这种模型的分解导致非零指示函数数量减少，归一化计算更快，实现了比目前最佳技术之一的加速最高可达 35 倍。它还通常导致略低的困惑度。同样的技巧也可以用于加速其他机器学习技术的训练，例如应用于具有大量输出问题的神经网络，如语言建模。