ERNIE-Search：通过自即时蒸馏桥接交叉编码器与双编码器以实现稠密段落检索
计算与语言
2022-05-20 v1
摘要
基于预训练语言模型（PLMs）的神经检索器，如双编码器，在开放域问答（QA）任务上已取得令人瞩目的性能。通过引入交叉架构知识蒸馏，其效果可进一步达到新的最优水平。然而，现有多数研究只是直接应用常规蒸馏方法，未能考虑教师与学生结构不同这一特定情形。本文提出一种新颖的蒸馏方法，显著推进了面向双编码器的交叉架构蒸馏。我们的方法 1）引入一种自即时蒸馏方法，可有效将晚期交互（即 ColBERT）蒸馏至朴素双编码器；2）融入级联蒸馏过程，借助交叉编码器教师进一步提升性能。大量实验验证了我们提出的方案优于强基线，并在开放域 QA 基准上确立了新的最优水平。
引用
@article{arxiv.2205.09153,
title = {ERNIE-Search: Bridging Cross-Encoder with Dual-Encoder via Self On-the-fly Distillation for Dense Passage Retrieval},
author = {Yuxiang Lu and Yiding Liu and Jiaxiang Liu and Yunsheng Shi and Zhengjie Huang and Shikun Feng Yu Sun and Hao Tian and Hua Wu and Shuaiqiang Wang and Dawei Yin and Haifeng Wang},
journal= {arXiv preprint arXiv:2205.09153},
year = {2022}
}