BERT-DRE：面向自然语言句子匹配的带深度递归编码器的BERT
计算与语言
2021-11-05 v2
摘要
本文提出一种深度神经架构，通过在BERT之上添加深度递归编码器，用于自然语言句子匹配（NLSM），称为带深度递归编码器的BERT（BERT-DRE）。我们对模型行为的分析表明，BERT仍未捕捉到文本的全部复杂性，因此在BERT之上应用了深度递归编码器。使用三个带残差连接的双向LSTM层设计递归编码器，并在该编码器之上使用注意力模块。为获得最终向量，使用了由平均池化和最大池化组成的池化层。我们在四个基准数据集SNLI、FarsTail、MultiNLI、SciTail以及一个新的波斯语宗教问题数据集上进行了实验。本文专注于提升BERT在NLSM任务中的结果。为此，对BERT-DRE与BERT进行了比较，结果表明在所有情况下BERT-DRE均优于BERT。BERT算法在宗教数据集上达到了89.70%的准确率，而使用相同数据集，BERT-DRE架构将准确率提升至90.29%。
引用
@article{arxiv.2111.02188,
title = {BERT-DRE: BERT with Deep Recursive Encoder for Natural Language Sentence Matching},
author = {Ehsan Tavan and Ali Rahmati and Maryam Najafi and Saeed Bibak and Zahed Rahmati},
journal= {arXiv preprint arXiv:2111.02188},
year = {2021}
}