用于信用分配的可微调度采样
计算与语言
2017-04-25 v1 机器学习
神经与进化计算
摘要
我们证明 argmax 运算的连续松弛可用于为序列到序列（seq2seq）模型创建贪婪解码的可微近似。通过将此近似纳入调度采样训练过程（Bengio et al., 2015）——一种校正曝光偏差的知名技术——我们引入了一种处处连续可微的新训练目标，其能在先前解码决策改变取值的点附近提供信息丰富的梯度。此外，通过使用一种相关近似，我们展示了一种类似于基于采样的训练的方法。最后，我们表明我们的方法在两个序列预测任务：命名实体识别与机器翻译中优于交叉熵训练与调度采样过程。
引用
@article{arxiv.1704.06970,
title = {Differentiable Scheduled Sampling for Credit Assignment},
author = {Kartik Goyal and Chris Dyer and Taylor Berg-Kirkpatrick},
journal= {arXiv preprint arXiv:1704.06970},
year = {2017}
}
备注
Accepted at ACL2017 (http://bit.ly/2oj1muX)