为神经跨领域搜索蒸馏 Transformer

预训练 transformer 近期在自然语言任务的全领域中拔得头筹，并为软件工程任务开创了解决方案。即便信息检索也未能免于 transformer 的魅力，尽管其庞大的规模与成本通常是部署的障碍。虽然在精简、缓存与修改 transformer 架构以用于生产方面已有大量工作，但在此我们探索一个新方向：将一个大型预训练翻译模型蒸馏为一个轻量级的双编码器，其可被高效缓存与查询。我们从概率视角论证序列到序列模型在概念上是理想的——尽管极不实用的——检索器。我们推导了一个新的蒸馏目标，并将其实现为一种数据增强方案。以自然语言源代码搜索作为跨领域搜索的案例研究，我们通过显著超越 CodeSearchNet 挑战赛（一个近期的自然语言代码搜索基准）的当前领先者，证明了该想法的有效性。