Few-Shot Bot：基于提示学习的对话系统
计算与语言
2021-10-18 v1 人工智能
摘要
仅用少量样本学习对话是会话人工智能中的一大挑战。当前最佳的对话模型，无论是优秀的闲聊模型（如 BlenderBot）还是面向目标的系统（如 MinTL），均是在大型对话数据集上微调的语言模型（LMs）。训练这些模型在计算资源和时间上代价高昂，且难以使其持续具备新的对话技能。一个简单却未被探索的解决方案是基于提示的少样本学习（Brown et al. 2020），它不需要基于梯度的微调，而是将语言模型上下文中的少量样本作为唯一的学习来源。本文中，我们探索对话任务中基于提示的少样本学习。我们在九项响应生成任务（包括四项知识增强任务、一项面向目标生成任务、三项开放闲聊任务以及受控风格生成）和五项对话解析任务（包括对话状态跟踪、图路径生成、人物信息抽取、文档检索和网络查询生成）上对多种规模的 LMs 进行基准测试。当前发布的最大 LM（GPT-J-6B）采用基于提示的少样本学习，因此无需训练，即可取得与完全训练的最先进模型相竞争的性能。此外，我们提出一种新颖的基于提示的少样本分类器，同样不需要任何微调，以根据对话历史选择最合适的提示。最后，通过结合基于提示的少样本学习与技能选择器（Skill Selector）的能力，我们构建了一个端到端聊天机器人，名为 Few-Shot Bot（FSB），它能自动选择最合适的对话技能，查询不同知识库或互联网，并利用检索到的知识生成类人响应，且每个技能仅使用少量对话样本。
引用
@article{arxiv.2110.08118,
title = {Few-Shot Bot: Prompt-Based Learning for Dialogue Systems},
author = {Andrea Madotto and Zhaojiang Lin and Genta Indra Winata and Pascale Fung},
journal= {arXiv preprint arXiv:2110.08118},
year = {2021}
}