TeaForN：基于N元文法的教师强制方法
计算与语言
2020-10-12 v2
摘要
以教师强制（teacher-forcing）训练的序列生成模型存在与暴露偏差以及时间步间不可微相关的缺陷。我们提出的方法——基于N元文法的教师强制（Teacher-Forcing with N-grams，TeaForN）——通过堆叠N个解码器并沿辅助时间轴进行解码，直接解决这两个问题，从而允许基于N个预测步的模型参数更新。TeaForN可用于广泛类别的解码器架构，且相较于标准教师强制设置仅需极小改动。在实证上，我们表明TeaForN在一个机器翻译基准WMT 2014英法语对，以及两个新闻摘要基准CNN/Dailymail和Gigaword上提升了生成质量。
引用
@article{arxiv.2010.03494,
title = {TeaForN: Teacher-Forcing with N-grams},
author = {Sebastian Goodman and Nan Ding and Radu Soricut},
journal= {arXiv preprint arXiv:2010.03494},
year = {2020}
}
备注
to be published in EMNLP 2020