在 Transformer 模型上应用 LVT 与 FRE 的实验
计算与语言
2020-04-28 v1
摘要
在本文中，我们实验了将大词表技巧（Large Vocabulary Trick, LVT）和特征丰富编码（Feature-rich encoding, FRE）应用于 Transformer 模型进行文本摘要。我们未能取得比类似的基于 RNN 的序列到序列模型更好的结果，因此我们尝试了更多模型，以找出哪些因素改善了结果、哪些因素恶化了结果。
引用
@article{arxiv.2004.12495,
title = {Experiments with LVT and FRE for Transformer model},
author = {Ilshat Gibadullin and Aidar Valeev},
journal= {arXiv preprint arXiv:2004.12495},
year = {2020}
}