面向快速基于检索的聊天机器人的知识蒸馏

响应检索是神经排序的一个子集，在该任务中，模型根据对话历史从一组候选响应中选择一个合适的响应。基于检索的聊天机器人通常用于信息查询类对话系统，例如客户支持代理。为了在对话历史和候选响应之间进行成对比较，常见的方法有两种：对输入对执行完整自注意力的交叉编码器，以及分别对输入对进行编码的双编码器。前者具有更好的预测质量，但速度太慢而无法在实际中使用。在本文中，我们提出了一种新的交叉编码器架构，并使用蒸馏将知识从该模型迁移到双编码器模型。这在不增加推理时间成本的情况下有效提升了双编码器的性能。我们在三个响应检索数据集上对该方法进行了详细分析。