Dialog2Flow：面向自动对话流程提取的软对比动作驱动句子嵌入预训练
计算与语言
2024-11-20 v2 人工智能
机器学习
摘要
从未标注对话中高效推导结构化工作流仍然是计算语言学中一个未被充分探索且艰巨的挑战。自动化此过程可以显著加速新领域工作流的手动设计，并使大型语言模型能够基于特定领域的流程图进行接地，从而增强透明度和可控性。本文介绍 Dialog2Flow (D2F) 嵌入，它与传统的句子嵌入不同，通过将话语映射到一个潜在空间，在该空间中它们根据其交际和信息功能（即它们所代表的动作）进行分组。D2F 允许将对话建模为潜在空间中具有不同动作相关区域的连续轨迹。通过对 D2F 嵌入进行聚类，潜在空间被量化，对话可以转换为区域/动作 ID 序列，从而便于提取底层工作流。为了预训练 D2F，我们通过统一二十个面向任务的对话数据集并标准化每轮动作标注来构建一个全面的数据集。我们还引入了一种新颖的软对比损失，它利用这些动作的语义信息来指导表示学习过程，与标准的监督对比损失相比表现出更优的性能。与各种句子嵌入（包括特定于对话的嵌入）的评估表明，D2F 在跨不同领域产生了更优的定性和定量结果。
引用
@article{arxiv.2410.18481,
title = {Dialog2Flow: Pre-training Soft-Contrastive Action-Driven Sentence Embeddings for Automatic Dialog Flow Extraction},
author = {Sergio Burdisso and Srikanth Madikeri and Petr Motlicek},
journal= {arXiv preprint arXiv:2410.18481},
year = {2024}
}
备注
Accepted to EMNLP 2024 main conference