基于提示调参的参数高效低资源对话状态跟踪
计算与语言
2023-05-31 v2 人工智能
摘要
对话状态跟踪（DST）是对话管理中追踪用户信念的重要步骤。现有工作对所有语言模型（LM）参数进行微调以应对DST任务，这需要大量的数据和计算资源进行训练和部署。在部署数十个针对不同领域和任务微调的LM的真实场景中，成本呈指数增长。为减少参数量并更好地利用跨任务共享信息，我们提出使用软提示词嵌入来学习任务属性。在不微调LM参数的情况下，我们的方法将所需参数量急剧减少至先前工作的不到0.5%，同时取得了更好的低资源DST性能。
引用
@article{arxiv.2301.10915,
title = {Parameter-Efficient Low-Resource Dialogue State Tracking by Prompt Tuning},
author = {Mingyu Derek Ma and Jiun-Yu Kao and Shuyang Gao and Arpit Gupta and Di Jin and Tagyoung Chung and Nanyun Peng},
journal= {arXiv preprint arXiv:2301.10915},
year = {2023}
}
备注
In the INTERSPEECH 2023, and the Second Workshop on Efficient Natural Language and Speech Processing (ENLSP) at NeurIPS 2022