DABERT：用于语义匹配的双注意力增强 BERT
计算与语言
2023-04-17 v4
摘要
基于 Transformer 的预训练语言模型（如 BERT）在语义句子匹配中取得了显著成果。然而，现有模型仍面临捕捉细微差异能力不足的问题。句子的轻微噪声（如词语增删与修改）可能导致预测结果翻转。为缓解该问题，我们提出一种新颖的双注意力增强 BERT（DABERT），以增强 BERT 捕捉句子对细粒度差异的能力。DABERT 包含：(1) 双注意力模块，通过引入新的双通道对齐机制来建模亲和与差异注意力，从而度量软词匹配；(2) 自适应融合模块，该模块利用注意力学习差异与亲和特征的聚合，并生成描述句子对匹配细节的向量。我们在经过充分研究的语义匹配与鲁棒性测试数据集上进行了大量实验，实验结果表明了我们所提方法的有效性。
引用
@article{arxiv.2210.03454,
title = {DABERT: Dual Attention Enhanced BERT for Semantic Matching},
author = {Sirui Wang and Di Liang and Jian Song and Yuntao Li and Wei Wu},
journal= {arXiv preprint arXiv:2210.03454},
year = {2023}
}
备注
Accepted by COLING 2022