面向自然语言处理中结构化任务基于能量的近似推断网络学习

自然语言处理（NLP）中的结构化预测有着悠久的历史。结构化应用的复杂模型带来了学习与推断的困难。这些困难导致研究者更关注具有简单结构组件（例如局部分类器）的模型。深度表示学习近年来日益流行。另一方面，其方法的结构组件通常相对简单。本学位论文聚焦于复杂结构化模型。我们为复杂结构化模型提供了一个学习框架，以及一种在速度/精度/搜索误差上权衡更优的推断方法。论文从对基于能量模型的一般性介绍开始。在NLP及其他应用中，能量函数类似于评分函数的概念。本论文中，我们讨论能量函数的概念以及具有不同能量函数的结构化模型。接着，我们提出一种方法，其中我们训练神经网络在结构化能量函数下执行 argmax 推断，将训练得到的网络称为“推断网络”或“基于能量的推断网络”。然后，我们发展了使用对抗学习框架联合学习能量函数与推断网络的方法。尽管基于能量的模型存在推断与学习困难，我们在本论文中提出的方法使基于能量的模型能够更容易地应用于结构化NLP任务中。