Dial-MAE：面向检索式对话系统的上下文掩码自编码器
计算与语言
2024-03-28 v5 人工智能
摘要
对话响应选择旨在基于给定的用户与系统话语历史，从若干候选中选出恰当响应。现有工作多聚焦于针对交叉编码器的后训练与微调，然而在对话响应选择中尚缺乏面向稠密编码器的后训练方法。我们认为，当基于稠密对话系统（如 BERT）的当前语言模型用作稠密编码器时，其分别对对话上下文与响应进行编码，导致难以实现两种表示的对齐。为此，我们提出 Dial-MAE（对话上下文掩码自编码器），一种专为对话响应选择中稠密编码器设计的简洁而有效的后训练技术。Dial-MAE 采用非对称编码器-解码器架构将对话语义压缩为稠密向量，从而更好地对齐对话上下文与响应的特征。实验表明 Dial-MAE 极为有效，在两个常用评测基准上取得了最先进性能。
引用
@article{arxiv.2306.04357,
title = {Dial-MAE: ConTextual Masked Auto-Encoder for Retrieval-based Dialogue Systems},
author = {Zhenpeng Su and Xing Wu and Wei Zhou and Guangyuan Ma and Songlin Hu},
journal= {arXiv preprint arXiv:2306.04357},
year = {2024}
}
备注
This paper has been accepted by NAACL 2024