利用双极斜坡损失从弱反馈中学习神经序列到序列模型
计算与语言
2019-07-10 v1 机器学习
机器学习
摘要
在许多机器学习场景中，无法获得金标签监督，因此神经模型不能直接通过最大似然估计(MLE)训练。在弱监督场景中，可采用度量增强目标为模型输出分配反馈，用以提取训练的监督信号。我们针对机器翻译和语义解析两个独立的弱监督任务提出若干目标。我们表明，目标除提升替代金结构外，还应主动抑制负向输出。这种双极性自然地存在于斜坡损失目标中，我们将其适配于神经模型。我们表明，在两项弱监督任务以及一项有监督机器翻译任务上，双极斜坡损失目标优于其他非双极斜坡损失目标和最小风险训练(MRT)。此外，我们引入一种新颖的 token 级斜坡损失目标，其性能在两项弱监督任务上甚至优于最佳的序列级斜坡损失。
引用
@article{arxiv.1907.03748,
title = {Learning Neural Sequence-to-Sequence Models from Weak Feedback with Bipolar Ramp Loss},
author = {Laura Jehl and Carolin Lawrence and Stefan Riezler},
journal= {arXiv preprint arXiv:1907.03748},
year = {2019}
}
备注
Transactions of the Association for Computational Linguistics 2019 Vol. 7, 233-248. Presented at ACL, Florence, Italy