用于句子嵌入的双视图蒸馏 BERT

Xingyi Cheng

用于句子嵌入的双视图蒸馏 BERT

人工智能 2021-04-20 v1 计算与语言

作者: Xingyi Cheng

摘要

近来，BERT 通过词级跨句注意力在句子匹配上取得了显著进展。然而，当使用孪生 BERT 网络来推导两个句子嵌入时，性能显著下降，这是由于缺少两句之间的词级注意力，难以捕捉全局语义。本文提出一种用于句子匹配的双视图蒸馏 BERT（DvBERT），其基于句子嵌入进行匹配。我们的方法从两个不同视图处理句子对，即孪生视图（Siamese View）和交互视图（Interaction View）。孪生视图是生成句子嵌入的主干网络。交互视图将跨句交互作为多个教师模型，以提升句子嵌入的表示能力。在六个 STS 任务上的实验表明，我们的方法显著优于当前最先进的句子嵌入方法。

关键词

句子嵌入 BERT 知识蒸馏句子匹配孪生网络语义文本相似度

引用

@article{arxiv.2104.08675,
  title  = {Dual-View Distilled BERT for Sentence Embedding},
  author = {Xingyi Cheng},
  journal= {arXiv preprint arXiv:2104.08675},
  year   = {2021}
}

备注

Accepted at SIGIR 2021

用于句子嵌入的双视图蒸馏 BERT

摘要

关键词

引用

备注

相关论文