通过依赖增强预训练模型与自适应融合改进语义匹配
计算与语言
2023-08-25 v5 人工智能
摘要
基于Transformer的预训练模型如BERT在语义句子匹配上已取得巨大进展。同时，依赖先验知识也在多项NLP任务中展现出普遍益处。然而，如何高效地将依赖先验结构整合进预训练模型以更好地建模复杂语义匹配关系仍待解决。本文中，我们提出依赖增强自适应融合注意力（DAFA），其将依赖结构显式引入预训练模型并与语义信息自适应融合。具体而言，\textbf{\emph{(i)}} DAFA首先提出一种结构敏感范式来构建依赖矩阵以校准注意力权重。它采用自适应融合模块来整合所获得的依赖信息与原始语义信号。此外，DAFA重构了注意力计算流程并提供了更好的可解释性。通过将该方法应用于BERT，我们的方法在10个公开数据集上取得了最先进或具竞争力的性能，证明了在语义匹配任务中自适应融合依赖结构的好处。
引用
@article{arxiv.2210.08471,
title = {Improving Semantic Matching through Dependency-Enhanced Pre-trained Model with Adaptive Fusion},
author = {Jian Song and Di Liang and Rumei Li and Yuntao Li and Sirui Wang and Minlong Peng and Wei Wu and Yongxin Yu},
journal= {arXiv preprint arXiv:2210.08471},
year = {2023}
}
备注
Accepted by Findings of EMNLP 2022