CINS：面向任务型对话系统少样本学习的综合指令
计算与语言
2022-03-22 v4 机器学习
摘要
由于任务型对话（ToD）系统中不同模块的标注成本较高，实践中的一大挑战是以最少的标注数据学习不同的任务。近期，基于预训练语言模型（PLMs）的提示方法在 ToD 的少样本学习中展现出了可喜的成果。为了更好地利用 PLMs 的能力，本文提出了综合指令（Comprehensive Instruction, CINS），利用额外的任务特定指令来激发 PLMs 的能力。我们为 ToD 中三个重要的下游任务（即意图分类、对话状态跟踪和自然语言生成）设计了指令模式（定义、约束、提示）及其定制化实现。采用序列到序列模型（T5）在统一框架下解决这三个任务。在具有少量验证数据的现实少样本学习场景下，对这些 ToD 任务进行了大量实验。实验结果表明，所提出的 CINS 方法持续优于使用原始输入或短提示微调 PLMs 的技术。
引用
@article{arxiv.2109.04645,
title = {CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems},
author = {Fei Mi and Yitong Li and Yasheng Wang and Xin Jiang and Qun Liu},
journal= {arXiv preprint arXiv:2109.04645},
year = {2022}
}
备注
Accepted at AAAI2022