自导式合成对话与修订技术报告
计算与语言
2024-07-29 v1 机器学习
摘要
合成数据已成为语言模型遵循指令和解决复杂问题在微调中的重要工具。然而，目前大多数开放数据常缺乏多轮数据且是在封闭模型上收集的，这限制了开放微调方法的进步。我们引入自导式合成对话 (Self Directed Synthetic Dialogues, SDSD)，一个由语言模型自身对话生成的实验数据集。该数据集由在 DBRX、Llama 2 70B 和 Mistral Large 上生成的多轮对话组成，这些模型均被指示遵循事先生成的对话计划。我们还探索包含 Constitutional AI 等原则，以通过修订最终对话轮次来创建合成偏好数据。我们希望此工作鼓励进一步探索多轮数据和使用开放模型扩大合成数据的影响。
引用
@article{arxiv.2407.18421,
title = {Self-Directed Synthetic Dialogues and Revisions Technical Report},
author = {Nathan Lambert and Hailey Schoelkopf and Aaron Gokaslan and Luca Soldaini and Valentina Pyatkin and Louis Castricato},
journal= {arXiv preprint arXiv:2407.18421},
year = {2024}
}
备注
25 pages, 3 figures, 4 tables