理解 SPIGOT 的机制：用于隐结构学习的替代梯度
计算与语言
2020-10-07 v1 机器学习
摘要
隐结构模型是建模语言数据的有力工具：它们可缓解流水线系统中的错误传播与标注瓶颈，同时揭示关于数据语言学的洞见。这些模型端到端训练的一个挑战是 argmax 操作具有零梯度。本文聚焦于替代梯度，一种应对该问题的流行策略。我们通过拉回下游学习目标的角度探索隐结构学习。在此范式下，我们为直通估计器（STE）以及近期提出的 SPIGOT（一种面向结构模型的 STE 变体）发现了一种原则性动机。我们的视角引出了同一族中的新算法。我们通过实验将已知与新颖的拉回估计器同流行替代方案比较，为实践者提供新洞见并揭示引人深思的失败案例。
引用
@article{arxiv.2010.02357,
title = {Understanding the Mechanics of SPIGOT: Surrogate Gradients for Latent Structure Learning},
author = {Tsvetomila Mihaylova and Vlad Niculae and André F. T. Martins},
journal= {arXiv preprint arXiv:2010.02357},
year = {2020}
}
备注
EMNLP 2020