关于潜结构模型与 SPIGOT 的注记
机器学习
2019-07-25 v1 机器学习
摘要
本注记旨在阐明最近提出的结构化投影中间梯度优化技术（SPIGOT，Peng 等，2018）。SPIGOT 是直通估计器（Bengio 等，2013）的一种变体，它通过反向传播替代“梯度”来绕过 argmax 函数的梯度。我们对所提出的梯度给出了新的解释，并将该技术置于适当的视角中，将其与训练具有离散潜变量的神经网络的其他方法联系起来。作为副产品，我们提出了 SPIGOT 的替代变体，将在未来的工作中进一步探讨。
引用
@article{arxiv.1907.10348,
title = {Notes on Latent Structure Models and SPIGOT},
author = {André F. T. Martins and Vlad Niculae},
journal= {arXiv preprint arXiv:1907.10348},
year = {2019}
}
备注
7 pages