超标注中波束感知训练的实证研究
计算与语言
2020-10-13 v1 机器学习
摘要
结构化预测通常通过对局部归一化模型以最大似然训练并以波束搜索近似解码来实现。该方法导致不匹配，因为在训练期间模型未暴露于其错误且未使用波束搜索。波束感知训练旨在解决这些问题，但遗憾的是，由于对其如何影响性能、何时最有用以及是否稳定缺乏理解，它尚未被广泛使用。近期，Negrinho等人（2018）提出了一种涵盖波束感知训练算法并提出新算法的元算法，但遗憾的是未提供实证结果。本文开展一项实证研究：我们用该元算法的具体实例化训练Vaswani等人（2016）的超标注模型以及一个更简单的模型。我们探究各种设计选择的影响并为其选取提供建议。我们观察到波束感知训练对两个模型均提升性能，对更简单的模型提升显著，该模型必须在解码时有效管理不确定性。我们的结果表明，模型必须结合搜索进行学习以最大化其有效性。
引用
@article{arxiv.2010.04980,
title = {An Empirical Investigation of Beam-Aware Training in Supertagging},
author = {Renato Negrinho and Matthew R. Gormley and Geoffrey J. Gordon},
journal= {arXiv preprint arXiv:2010.04980},
year = {2020}
}
备注
EMNLP Findings 2020 camera-ready. Code can be found at https://github.com/negrinho/beam_learn_supertagging