具有输出约束的网络的基于梯度的推理
计算与语言
2019-04-23 v3
摘要
从业者将神经网络应用于自然语言处理中日益复杂的问题，例如具有丰富输出结构的句法分析和语义角色标注。许多此类结构化预测问题要求对输出值施加确定性约束；例如，在序列到序列的句法分析中，我们要求序列输出编码有效的树。虽然隐藏单元可能捕获此类属性，但网络并不总是能够仅从训练数据中学习到这些约束，因此从业者必须诉诸后处理。在本文中，我们提出了一种用于神经网络的推理方法，该方法在不执行基于规则的后处理或昂贵的离散搜索的情况下，对输出施加确定性约束。相反，本着基于梯度训练的精神，我们使用基于梯度的推理（GBI）来强制执行约束：对于测试时的每个输入，我们微调连续模型权重，直到网络的无约束推理过程生成满足约束的输出。我们在三个具有硬约束的任务上研究了 GBI 的有效性：语义角色标注、句法分析和序列转换。在每种情况下，该算法不仅满足了约束，而且提高了准确性，即使底层网络是 state-of-the-art 的也是如此。
引用
@article{arxiv.1707.08608,
title = {Gradient-based Inference for Networks with Output Constraints},
author = {Jay Yoon Lee and Sanket Vaibhav Mehta and Michael Wick and Jean-Baptiste Tristan and Jaime Carbonell},
journal= {arXiv preprint arXiv:1707.08608},
year = {2019}
}
备注
AAAI 2019