Dial2vec：无监督对话嵌入的自引导对比学习
计算与语言
2022-10-28 v1 人工智能
摘要
在本文中，我们引入了学习无监督对话嵌入的任务。诸如组合预训练词或句嵌入以及通过预训练语言模型（PLMs）进行编码等简单方法已被证明对此任务是可行的。然而，这些方法通常忽略了对话者之间的会话交互，导致性能不佳。为解决这一问题，我们提出了一种名为dial2vec的自引导对比学习方法。Dial2vec将对话视为一个信息交换过程。它捕捉对话者之间的会话交互模式，并利用这些模式来引导对应于每个对话者的嵌入学习。对话嵌入通过聚合所有对话者的嵌入获得。为验证我们的方法，我们建立了一个由六个广泛使用的对话数据集组成的综合基准。我们考虑了三个评估任务：领域分类、语义相关性和对话检索。在这三项任务上，Dial2vec在纯度、Spearman相关系数和平均精度均值（MAP）方面，相较于最强基线分别平均实现了8.7、9.0和13.8个点的绝对提升。进一步分析表明，dial2vec在会话交互的引导下，为对话双方获得了信息丰富且具有区分性的嵌入，并通过对话者级别的池化策略进行聚合时取得了最佳性能。所有代码和数据均在https://github.com/AlibabaResearch/DAMO-ConvAI/tree/main/dial2vec上公开。
引用
@article{arxiv.2210.15332,
title = {Dial2vec: Self-Guided Contrastive Learning of Unsupervised Dialogue Embeddings},
author = {Che Liu and Rui Wang and Junfeng Jiang and Yongbin Li and Fei Huang},
journal= {arXiv preprint arXiv:2210.15332},
year = {2022}
}
备注
Accepted as Long Paper at "EMNLP,2022"