基于预训练语言模型稳定化上下文学习的小样本对话状态跟踪
计算与语言
2023-02-14 v1
摘要
带有大型预训练语言模型（PLMs）的基于提示的方法在许多 NLP 任务上已展现出令人印象深刻的无需辅助的性能。这些模型在加入少量带标签的上下文示例以引导输出生成后表现更佳。然而，对于对话状态跟踪（DST）等更复杂的任务，设计能可靠传达预期意图的提示并非易事，导致结果不稳定。此外，由于对话上下文较长而模型输入长度相对较短，为对话任务构建上下文示例十分困难。为克服这些问题，我们首先将一种元学习方案适配到对话领域，以稳定模型在各种提示下表现良好的能力。我们还设计了一种新颖的训练方法，以改进朴素检索机制来找到理想的上下文示例。最后，我们引入一种显著性模型来限制对话文本长度，从而能在每次查询中包含更多示例。实际上，我们能够在 MultiWOZ 上取得极具竞争力的小样本 DST 结果。
引用
@article{arxiv.2302.05932,
title = {Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking},
author = {Derek Chen and Kun Qian and Zhou Yu},
journal= {arXiv preprint arXiv:2302.05932},
year = {2023}
}
备注
14 pages, 3 figures, 7 tables. Accepted at EACL 2023