简化版 TinyBERT：用于文档检索的知识蒸馏
信息检索
2023-05-05 v2 计算与语言
摘要
尽管利用 BERT 模型进行文档排序十分有效，但此类方法的高计算成本限制了其应用。为此，本文首先实证研究了两种知识蒸馏模型在文档排序任务上的有效性。此外，在近期提出的 TinyBERT 模型基础上，提出了两种简化方案。在两个不同且广泛使用的基准上的评估表明，采用所提简化的简化版 TinyBERT 不仅提升了 TinyBERT，而且在提供 15 加速的情况下显著优于 BERT-Base。
引用
@article{arxiv.2009.07531,
title = {Simplified TinyBERT: Knowledge Distillation for Document Retrieval},
author = {Xuanang Chen and Ben He and Kai Hui and Le Sun and Yingfei Sun},
journal= {arXiv preprint arXiv:2009.07531},
year = {2023}
}
备注
Accepted at ECIR 2021 (short paper)