面向低资源对话状态跟踪的基于提示学习与自训练的状态值生成
计算与语言
2024-01-31 v1
摘要
近年来，低资源对话状态跟踪（DST）受到越来越多的关注。首先生成状态值，然后基于这些值生成槽类型的方法在此任务中取得了巨大进展。然而，获取状态值仍然是一个研究不足的问题。现有的基于抽取的方法无法捕获需要理解上下文的值，并且泛化能力也不强。为了解决这些问题，我们提出了一种新颖的基于状态值生成的框架（SVAG），将 DST 分解为状态值生成和领域槽生成。具体来说，我们提出生成状态值，并使用自训练来进一步改进状态值生成。此外，我们设计了一个估计器，旨在自训练过程中为伪标记数据选择检测不完整生成和错误生成。在 MultiWOZ 2.1 数据集上的实验结果表明，在参数规模限制在 1000 亿以下的模型中，我们仅有不到 10 亿参数的方法在 5%、10% 和 25% 的数据比例设置下达到了最先进的性能。与参数超过 1000 亿的模型相比，SVAG 仍然取得了有竞争力的结果。
引用
@article{arxiv.2401.16862,
title = {State Value Generation with Prompt Learning and Self-Training for Low-Resource Dialogue State Tracking},
author = {Ming Gu and Yan Yang and Chengcai Chen and Zhou Yu},
journal= {arXiv preprint arXiv:2401.16862},
year = {2024}
}
备注
Accepted by ACML 2023