理解神经机器翻译的学习动态
计算与语言
2020-04-07 v1 机器学习
摘要
尽管 NMT（神经机器翻译）取得了巨大成功，仍存在一项严峻挑战：难以解释其训练过程中的内部动态。本文提出使用一种近期提出的技术——损失变化分配（Loss Change Allocation, LCA）~\citep{lan-2019-loss-change-allocation}——来理解 NMT 的学习动态。由于 LCA 需要对每次更新的整个数据集计算梯度，我们转而提出一种近似方法以在 NMT 场景中付诸实践。我们的模拟实验表明，这种近似计算是高效的，并且经验证能与暴力实现给出一致的结果。特别地，在两个标准翻译基准数据集上的大量实验揭示了一些有价值的发现。
引用
@article{arxiv.2004.02199,
title = {Understanding Learning Dynamics for Neural Machine Translation},
author = {Conghui Zhu and Guanlin Li and Lemao Liu and Tiejun Zhao and Shuming Shi},
journal= {arXiv preprint arXiv:2004.02199},
year = {2020}
}
备注
Preprint