TRANS-BLSTM：融合双向LSTM的Transformer语言理解模型
计算与语言
2020-03-17 v1 机器学习
声音
音频与语音处理
摘要
双向编码器表示来自 Transformer（BERT）近期在包括句子分类、机器翻译和问答在内的广泛 NLP 任务上取得了最先进的性能。BERT 模型架构主要源自 transformer。在 transformer 时代之前，双向长短期记忆网络（BLSTM）一直是神经机器翻译与问答的主导建模架构。本文研究了如何将这两种建模技术结合以创建更强大的模型架构。我们提出了一种新架构，记为带 BLSTM 的 Transformer（TRANS-BLSTM），其在每个 transformer 块中集成了一个 BLSTM 层，从而形成 transformer 与 BLSTM 的联合建模框架。我们表明，在 GLUE 和 SQuAD 1.1 实验中，TRANS-BLSTM 模型相比 BERT 基线在准确率上持续取得提升。我们的 TRANS-BLSTM 模型在 SQuAD 1.1 开发集上获得了 94.01% 的 F1 分数，与最先进结果相当。
引用
@article{arxiv.2003.07000,
title = {TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding},
author = {Zhiheng Huang and Peng Xu and Davis Liang and Ajay Mishra and Bing Xiang},
journal= {arXiv preprint arXiv:2003.07000},
year = {2020}
}