以弱胜强：探索不使用闭源模型的指令数据生成
计算与语言
2023-08-25 v1
摘要
指令微调对于使大语言模型（LLMs）遵循用户指令完成各类开放域任务至关重要。指令微调的成功取决于高质量指令数据的可用性。由于人工标注成本高昂且质量不佳，近期工作深入探索利用强大的闭源模型自动生成指令数据。然而，这些方法因强大闭源模型的使用要求而带来潜在风险，其严格禁止利用模型输出来开发机器学习模型。为应对该问题，本工作中我们探索不依赖闭源模型生成高质量指令数据的替代方法。我们的探索包括对多种现有指令生成方法的调研，并将最高效的变体与第二项新策略相整合以进一步提升质量。来自两个基准和 GPT-4 模型的评估结果表明，我们生成的指令数据有效，且可优于依赖闭源模型的 Alpaca 方法。我们希望在不使用闭源模型生成高质量指令数据方面取得更多进展。
引用
@article{arxiv.2308.12711,
title = {Harnessing the Power of David against Goliath: Exploring Instruction Data Generation without Using Closed-Source Models},
author = {Yue Wang and Xinrui Wang and Juntao Li and Jinxiong Chang and Qishen Zhang and Zhongyi Liu and Guannan Zhang and Min Zhang},
journal= {arXiv preprint arXiv:2308.12711},
year = {2023}
}