用于内容 grounding 问答对话少样本生成的结构化思维链提示
计算与语言
2024-02-21 v2
摘要
我们提出了一种结构化思维链（SCoT）提示方法，利用预训练的大语言模型（LLM）生成内容 grounding 的多轮问答对话。我们提案的核心是将复杂任务结构化分解为状态机中的多个状态，以便将对应于各种子任务（例如内容阅读和话语生成）的动作在各自专用的状态中执行。每个状态利用一组独特的资源，包括提示和（可选的）额外工具，以增强生成过程。实验结果表明，带有用于缓解幻觉的指定状态的 SCoT 提示，将智能体对 grounding 文档的忠实度提高了高达 16.8%。当用作训练数据时，我们仅基于 6 个维基百科种子演示合成的开放域对话，能够训练出强大的对话 QA 智能体；在域外评估中，例如，当目标域黄金数据辅以我们生成的示例时，我们观察到相比仅使用目标域黄金数据高达 13.9% 的性能提升。
引用
@article{arxiv.2402.11770,
title = {Structured Chain-of-Thought Prompting for Few-Shot Generation of Content-Grounded QA Conversations},
author = {Md Arafat Sultan and Jatin Ganhotra and Ramón Fernandez Astudillo},
journal= {arXiv preprint arXiv:2402.11770},
year = {2024}
}