SynthDST:合成数据是少样本对话状态跟踪所需的一切
计算与语言
2024-02-06 v1 人工智能
机器学习
摘要
利用大语言模型(LLM)进行上下文学习已成为对话状态跟踪(DST)研究中一个极具前景的方向。然而,性能最佳的上下文学习方法需要检索相似样本并添加到提示中,这需要访问有标签的训练数据。为广泛的领域和应用获取此类训练数据既耗时、昂贵,有时甚至不可行。虽然零样本学习不需要训练数据,但其性能远落后于少样本设置。因此,“我们能否高效地为任意对话模式生成合成数据以实现少样本提示?”为解决这一问题,我们提出了 SynthDST,一个利用 LLM 专为 DST 定制的数据生成框架。我们的方法仅需要对话模式和少量手工编写的对话模板,即可合成带有 DST 标注的自然、连贯且流畅的对话。在 MultiWOZ 2.1 和 2.4 上,使用 SynthDST 数据进行少样本学习使联合目标准确率比零样本基线提高了 。值得注意的是,与使用人工标注训练数据的少样本设置相比,我们的少样本学习方法恢复了近 的性能。我们的合成数据和代码可在 https://github.com/apple/ml-synthdst 获取。
引用
@article{arxiv.2402.02285,
title = {SynthDST: Synthetic Data is All You Need for Few-Shot Dialog State Tracking},
author = {Atharva Kulkarni and Bo-Hsiang Tseng and Joel Ruben Antony Moniz and Dhivya Piraviperumal and Hong Yu and Shruti Bhargava},
journal= {arXiv preprint arXiv:2402.02285},
year = {2024}
}
备注
9 pages. 4 figures, EACL 2024 main conference