面向对话响应全秩检索的稀疏与稠密方法

对给定对话上下文的响应排序是一个流行的基准，其设置是在有限的 $n$ 个响应集合（其中 $n$ 通常为 10）上对真实响应进行重排序。该设置在对话响应排序中的主导地位导致大量注意力投向构建神经重排序器，而第一阶段检索步骤被忽视。由于正确答案始终在 $n$ 个响应的候选列表中可用，该人工评估设置假设存在一个第一阶段检索步骤，其总能将该正确响应排在其前 $n$ 列表中。在本文中，我们关注更现实的对话响应全秩检索任务，其中 $n$ 可达数百万个响应。我们研究了用于稀疏检索的对话上下文与响应扩展技术，以及零样本和微调的稠密检索方法。我们基于三个不同的信息寻求对话数据集的发现表明，学习的响应扩展技术是稀疏检索的可靠基线。我们发现总体最佳执行方法是具有中间训练的稠密检索，即在语言模型预训练之后学习句子表示的步骤，然后在目标对话数据上微调。我们还研究了微调稠密检索模型下难负样本采样技术导致更差结果这一有趣现象。代码与数据集见 https://github.com/Guzpenha/transformer_rankers/tree/full_rank_retrieval_dialogues。