越低越简：简化分层循环模型
计算与语言
2019-05-22 v4 人工智能
摘要
为在不损害性能的前提下提升分层循环模型的训练效率，我们提出一种名为“越低越简”的策略，即通过使较低层比上层更简单来简化基线模型。我们执行该策略以简化两个典型的层次循环模型，即分层循环编码器-解码器（HRED）与 R-NET，它们的基本构建块为 GRU。具体而言，我们提出标量门控单元（SGU），它是 GRU 的简化变体，并用其替换 HRED 与 R-NET 中间层的 GRU。此外，我们还使用无任可训练参数的高效编码方法定长有序遗忘编码（FOFE）来替换 HRED 与 R-NET 底层的 GRU。实验结果表明，简化版 HRED 与简化版 R-NET 的可训练参数显著更少、训练时间显著更短，且取得了略优于其基线模型的性能。
引用
@article{arxiv.1809.02790,
title = {The Lower The Simpler: Simplifying Hierarchical Recurrent Models},
author = {Chao Wang and Hui Jiang},
journal= {arXiv preprint arXiv:1809.02790},
year = {2019}
}
备注
NAACL-HLT 2019