RSVP：基于客服回复对比与生成式预训练的客户意图检测
计算与语言
2023-10-17 v1
摘要
客户服务中的对话系统已借助神经模型发展，通过基于用户话语检测客户意图，在任务型对话中为用户提供精确答案与全天候支持。现有意图检测方法高度依赖利用大规模数据集对语言模型进行自适应预训练，然而数据采集的主要成本可能阻碍其优势发挥。此外，它们忽视了客服代理对话回复中的信息，这类信息收集成本较低，但对客户意图至关重要，因为代理必须根据客户意图量身定制回复。本文提出 RSVP，一个专用于任务型对话的自监督框架，以两阶段方式利用代理回复进行预训练。具体而言，我们引入两个预训练任务以融入话语-回复对的关系：1）回复检索，从一批候选中选取正确回复；2）回复生成，模仿代理针对给定话语生成回复。我们在两个真实世界客户服务数据集上的基准结果表明，RSVP 在准确率上平均显著优于最先进基线 4.95%，在 MRR@3 上优于 3.4%，在 MRR@5 上优于 2.75%。我们进行了大量案例研究以证明将代理回复纳入预训练阶段的有效性。
引用
@article{arxiv.2310.09773,
title = {RSVP: Customer Intent Detection via Agent Response Contrastive and Generative Pre-Training},
author = {Yu-Chien Tang and Wei-Yao Wang and An-Zi Yen and Wen-Chih Peng},
journal= {arXiv preprint arXiv:2310.09773},
year = {2023}
}
备注
Accepted by EMNLP 2023 Findings