LAB：面向聊天机器人的大规模对齐
计算与语言
2024-05-01 v3 机器学习
摘要
本工作引入了 LAB（Large-scale Alignment for chatBots，面向聊天机器人的大规模对齐），这是一种新颖的方法，旨在克服大语言模型（LLM）训练中指令微调阶段的可扩展性挑战。利用分类法引导的合成数据生成过程和多阶段微调框架，LAB 显著减少了对昂贵的人工标注和 GPT-4 等专有模型的依赖。我们证明，与使用传统人工标注或 GPT-4 生成的合成数据训练的模型相比，LAB 训练的模型在多个基准测试上能够取得具有竞争力的性能。因此，它为增强 LLM 的能力和指令遵循行为提供了一种可扩展且高性价比的解决方案，且没有灾难性遗忘的缺点，标志着在面向广泛应用的高效 LLM 训练方面迈出了一步。
引用
@article{arxiv.2403.01081,
title = {LAB: Large-Scale Alignment for ChatBots},
author = {Shivchander Sudalairaj and Abhishek Bhandwaldar and Aldo Pareja and Kai Xu and David D. Cox and Akash Srivastava},
journal= {arXiv preprint arXiv:2403.01081},
year = {2024}
}
备注
Corresponding Author: Akash Srivastava. Equal Contribution: Shivchander Sudalairaj, Abhishek Bhandwaldar, Aldo Pareja, Akash Srivastava, Code: https://github.com/instructlab