DGA-Net：用于句子语义匹配的动态高斯注意力网络
计算与语言
2021-06-10 v1 人工智能
摘要
句子语义匹配要求智能体判定两个句子之间的语义关系，近期表示学习技术的进展以及对人类行为的启发使其取得了诸多进展。在所有这些方法中，注意力机制通过有效选择重要部分发挥着至关重要的作用。然而，当前的注意力方法要么以静态方式关注所有重要部分，要么在每次注意力步骤中仅动态选择一个重要部分，这留下了很大的进一步改进空间。为此，本文设计了一种新颖的动态高斯注意力网络（DGA-Net）以结合现有静态与动态注意力方法的优势。更具体地，我们首先利用预训练语言模型从全局视角编码输入句子并构建语义表示。然后，我们提出动态高斯注意力（DGA）从细致视角动态捕获重要部分及相应的局部上下文。最后，我们将全局信息与细致局部信息结合，以全面且精确地判定句子的语义关系。在两个流行的句子语义匹配任务上的大量实验表明，我们提出的 DGA-Net 在提升注意力机制能力方面是有效的。
引用
@article{arxiv.2106.04905,
title = {DGA-Net Dynamic Gaussian Attention Network for Sentence Semantic Matching},
author = {Kun Zhang and Guangyi Lv and Meng Wang and Enhong Chen},
journal= {arXiv preprint arXiv:2106.04905},
year = {2021}
}
备注
Accepted by CICAI2021