RefGPT：GPT 生成、由 GPT 生成且为 GPT 生成的对话
计算与语言
2023-10-20 v3
摘要
大语言模型（LLMs）已通过微调高质量指令数据获得了解决广泛 NLP 任务的惊人能力。然而，收集高质量尤其是多轮对话的人类撰写数据对大多数人而言昂贵且难以实现。尽管先前研究已使用强大 LLMs 自动生成对话，但因模型幻觉它们均受困于生成不真实对话。因此，我们提出一种称为 RefGPT 的方法，可生成海量真实且可定制的对话，而无需担忧模型幻觉导致的 factual 错误。RefGPT 通过限制 LLMs 利用给定参考而非复述自身知识来生成对话，从而解决对话生成中的模型幻觉。此外，RefGPT 对每句话语添加细致控制以实现高度定制能力，这是先前研究所忽略的。基于 RefGPT，我们还提出两个由 GPT-4 生成的高质量对话数据集，即 RefGPT-Fact 与 RefGPT-Code。RefGPT-Fact 是一个基于事实知识的 10 万轮多轮对话数据集，RefGPT-Code 拥有 7.6 万轮覆盖广泛编程场景的多轮对话。我们的代码与数据集发布于 https://github.com/mutonix/RefGPT。
引用
@article{arxiv.2305.14994,
title = {RefGPT: Dialogue Generation of GPT, by GPT, and for GPT},
author = {Dongjie Yang and Ruifeng Yuan and Yuantao Fan and Yifei Yang and Zili Wang and Shusen Wang and Hai Zhao},
journal= {arXiv preprint arXiv:2305.14994},
year = {2023}
}
备注
Accepted by EMNLP 2023