构建面向云端低成本LLM微调的系列数据增强模型
计算与语言
2024-12-09 v1
摘要
在各种领域特定任务中专业化LLM已成为实现高性能的关键步骤。然而，构建和标注特定领域的数据集始终成本高昂。除了使用优越且昂贵的闭源LLM API来构建数据集外，一些开源模型已经足够强大，能够处理许多场景下的数据集构建。因此，我们提出了一系列数据增强模型，旨在显著提高模型微调的效率。这些模型基于足够小的LLM训练而成，支持以低推理成本实现关键功能：指令扩展、指令精炼和指令-响应对扩展。为了实现这一目标，我们首先构建了一个自动数据收集系统，该系统利用来自公共仓库和我们内部数据集的种子数据集生成数据。该系统利用强大的LLM来扩展、精炼和重写指令与响应，并融入质量评估技术。随后，我们介绍了模型的训练过程，该过程有效地从教师LLM中蒸馏任务求解和文本合成能力。最后，我们展示了如何将这些功能集成到机器学习平台中，以从数据集准备和训练两个角度支持用户的低成本LLM微调。实验和应用研究证明了我们方法的有效性。
引用
@article{arxiv.2412.04871,
title = {Building a Family of Data Augmentation Models for Low-cost LLM Fine-tuning on the Cloud},
author = {Yuanhao Yue and Chengyu Wang and Jun Huang and Peng Wang},
journal= {arXiv preprint arXiv:2412.04871},
year = {2024}
}
备注
coling 2025 industry track