LadRa-Net:用于句子语义匹配的局部感知动态重读注意力网络
计算与语言
2022-02-17 v1
摘要
句子语义匹配要求智能体判定两个句子之间的语义关系,其被广泛应用于各类自然语言任务中,例如自然语言推理(NLI)、释义识别(PI)等。该领域近期取得了诸多进展,尤其是基于注意力的方法与基于预训练语言模型的方法。然而,此类方法大多以静态方式关注句子中的所有重要部分,且仅强调词对查询的重要程度,抑制了注意力机制的能力。为克服该问题并提升注意力机制性能,我们提出一种新颖的动态重读注意力,其可在每一步密切关注句子的一个小区域,并重读重要部分以获得更好的句子表示。基于该注意力变体,我们构建了用于句子语义匹配的新型动态重读网络(DRr-Net)。此外,在动态重读注意力中仅选取一个小区域似乎不足以刻画句子语义,且采用预训练语言模型作为输入编码器会引入不完整且脆弱的表示问题。为此,我们将DRr-Net扩展为局部感知动态重读注意力网络(LadRa-Net),其中利用句子的局部结构缓解预训练语言模型中字节对编码(BPE)的缺陷,并提升动态重读注意力的性能。在两个流行的句子语义匹配任务上的大量实验表明,DRr-Net能显著提升句子语义匹配性能。同时,LadRa-Net通过考虑句子的局部结构能够取得更优性能。此外,实验中一些发现与心理学研究的若干结论高度吻合,这极为有趣。
引用
@article{arxiv.2108.02915,
title = {LadRa-Net: Locally-Aware Dynamic Re-read Attention Net for Sentence Semantic Matching},
author = {Kun Zhang and Guangyi Lv and Le Wu and Enhong Chen and Qi Liu and Meng Wang},
journal= {arXiv preprint arXiv:2108.02915},
year = {2022}
}
备注
Accpeted by IEEE Transactions on Neural Networks and Learning Systems