Uni-Encoder：一种用于生成式对话系统响应选择的快速准确范式
计算与语言
2023-05-16 v5 人工智能
摘要
采样排序是现代生成式对话系统的关键解码策略。它通过对少量生成的候选答案进行筛选，帮助获得多样且高质量的回复。当前最先进的排序方法主要采用称为Cross-Encoder的编码范式，该范式分别对每个上下文-候选对进行编码，并依据契合度分数对候选排序。然而，Cross-Encoder对每个候选重复编码相同的冗长上下文，导致高昂的计算成本。Poly-Encoder通过减少上下文与候选之间的交互来解决上述问题，但代价是性能下降。本工作中，我们提出一种称为Uni-Encoder的新范式，它如同Cross-Encoder般保持对每对候选的完整注意力，同时如同Poly-Encoder般仅对上下文编码一次。Uni-Encoder在一次前向传播中用上下文编码所有候选。我们对所有候选使用相同的位置嵌入以确保其被平等对待，并设计一种新的注意力机制以避免混淆。我们的Uni-Encoder可通过不同的注意力与回复拼接方法模拟其他排序范式。大量实验表明，我们所提范式在四个基准数据集上以高计算效率取得了新的SOTA结果。例如，在Ubuntu V2数据集上，它将R10@1提升2.9%，推理速度约快4倍。
引用
@article{arxiv.2106.01263,
title = {Uni-Encoder: A Fast and Accurate Response Selection Paradigm for Generation-Based Dialogue Systems},
author = {Chiyu Song and Hongliang He and Haofei Yu and Pengfei Fang and Leyang Cui and Zhenzhong Lan},
journal= {arXiv preprint arXiv:2106.01263},
year = {2023}
}
备注
Accepted to the Findings of ACL 2023