用循环神经网络缓解序列预测中的曝光偏差
计算与语言
2021-03-23 v1
摘要
一种训练循环神经网络（RNNs）的流行策略，即所谓的“教师强制”，在每个时间步将真实值作为输入，并使后续预测部分地以这些输入为条件。这种训练策略损害了它们学习整个序列上丰富分布的能力，因为所选输入阻碍了梯度以端到端方式反向传播至所有先前状态。我们提出一种完全可微的 RNN 训练算法，通过恢复整个序列的概率来更好地捕捉长期依赖。其关键思想是，在每个时间步，网络将前一步预测的相似词“束”而非单一真实值作为输入。这些相似词的表示构成一个凸包，可视为对输入的一种正则化。以此方式平滑输入使整个过程可训练且可微。该设计使模型能够探索更多可行组合（可能未见过的序列），并可解释为对集束搜索的一种计算高效近似。在多个序列生成任务上的实验取得了性能提升，尤其在 BLUE 或 ROUGE-2 等序列级指标上。
引用
@article{arxiv.2103.11603,
title = {Alleviate Exposure Bias in Sequence Prediction \\ with Recurrent Neural Networks},
author = {Liping Yuan and Jiangtao Feng and Xiaoqing Zheng and Xuanjing Huang},
journal= {arXiv preprint arXiv:2103.11603},
year = {2021}
}