面向开放域对话中粗粒度回复选择的上细到下上下文蒸馏
计算与语言
2022-06-22 v2
摘要
我们研究检索式对话系统中的粗粒度回复选择问题。该问题与细粒度回复选择同等重要，但在现有文献中较少被探讨。本文中，我们提出了一种用于开放域对话中粗粒度回复选择的上下文细到粗（CFC）蒸馏模型。在我们的CFC模型中，基于多塔架构学习查询、候选回复及对应上下文的稠密表示，并将从单塔架构（细粒度）中学到的更具表达力的知识蒸馏到多塔架构（粗粒度）中，以提升检索器的性能。为评估所提模型的性能，我们基于Reddit评论转储和Twitter语料构建了两个新数据集。在两个数据集上的大量实验结果表明，与传统基线方法相比，所提方法在所有评估指标上均取得了显著提升。
引用
@article{arxiv.2109.13087,
title = {Contextual Fine-to-Coarse Distillation for Coarse-grained Response Selection in Open-Domain Conversations},
author = {Wei Chen and Yeyun Gong and Can Xu and Huang Hu and Bolun Yao and Zhongyu Wei and Zhihao Fan and Xiaowu Hu and Bartuer Zhou and Biao Cheng and Daxin Jiang and Nan Duan},
journal= {arXiv preprint arXiv:2109.13087},
year = {2022}
}