使用 SPIGOT 通过结构化 Argmax 进行反向传播
计算与语言
2018-05-15 v1
摘要
我们引入了中间梯度结构化投影优化技术（SPIGOT），这是一种用于在包含硬决策结构预测（例如句法分析）的中间层神经网络中进行反向传播的新方法。与结构化注意力网络（Kim et al., 2017）和某些受强化学习启发的解决方案（Yogatama et al., 2017）不同，SPIGOT 不需要边缘推断。类似于所谓的直通估计器（Hinton, 2012），SPIGOT 定义了与中间不可微操作相关的类梯度量，允许在其前后进行反向传播；SPIGOT 的代理旨在确保在参数更新后，中间结构仍将保持格式良好。我们在两个结构化 NLP 流水线上进行了实验：先句法后语义的依存句法分析，以及语义分析后接情感分类。我们表明，使用 SPIGOT 训练在下游任务上比模块化训练的流水线、直通估计器以及结构化注意力带来更大的提升，在语义依存分析上达到了新的 SOTA。
关键词
引用
@article{arxiv.1805.04658,
title = {Backpropagating through Structured Argmax using a SPIGOT},
author = {Hao Peng and Sam Thomson and Noah A. Smith},
journal= {arXiv preprint arXiv:1805.04658},
year = {2018}
}
备注
ACL 2018