将大规模生成模型的知识蒸馏至检索模型以实现高效开放域对话
计算与语言
2021-09-01 v2 人工智能
摘要
尽管大规模生成模型在开放域对话中表现出卓越性能，但由于高延迟，其在构建实时对话系统方面实用性较差。另一方面，检索模型能以低得多的延迟返回回复，但由于对话质量受限于预定义回复集，其表现不如大规模生成模型。为兼顾两种方法优势，我们提出一种称为 G2R（生成到检索蒸馏，Generative-to-Retrieval distillation）的新训练方法，该方法在保持检索模型效率的同时，通过将生成模型的知识注入检索模型来利用其对话能力。G2R 由两种不同的蒸馏技术组成：数据级 G2R 利用大规模生成模型生成的额外回复扩充对话数据集；模型级 G2R 通过知识蒸馏损失将生成模型评估的回复质量分数迁移至检索模型的分数。通过包括人工评估在内的广泛实验，我们证明经 G2R 训练的基于检索的对话系统相较基线检索模型性能大幅提升，同时推理延迟显著低于大规模生成模型。
引用
@article{arxiv.2108.12582,
title = {Distilling the Knowledge of Large-scale Generative Models into Retrieval Models for Efficient Open-domain Conversation},
author = {Beomsu Kim and Seokjun Seo and Seungju Han and Enkhbayar Erdenee and Buru Chang},
journal= {arXiv preprint arXiv:2108.12582},
year = {2021}
}
备注
EMNLP21-Findings