I-SHEEP：通过迭代自增强范式从头开始的大语言模型自对齐
计算与语言
2024-12-18 v3
摘要
大语言模型（LLM）已取得显著进展，然而常见的学习范式将LLM视为被动信息存储库，忽视了其主动学习和对齐的潜力。一些方法利用LLM自身生成的合成数据进行训练，探索主动对齐的可能性。然而，这些一次性对齐方法与人类的持续自动对齐之间仍存在巨大差距。本文提出I-SHEEP，即迭代自增强范式。这种类人范式使LLM能够完全从头开始持续自我对齐。与本论文首次迭代所指的一次性对齐方法Dromedary相比，I-SHEEP在Qwen和Llama模型上显著增强了能力。I-SHEEP在Qwen-1.5 72B模型的后续迭代中，在Alpaca Eval上取得最大相对提升78.2%，在MT Bench上提升24.0%，在IFEval准确率上绝对提升8.88%。此外，I-SHEEP在多种标准基准生成任务上超越了基础模型，在代码生成任务上平均提升24.77%，在TrivialQA上提升12.04%，在SQuAD上提升20.29%。我们还基于实验结果提供了新的见解。我们的代码、数据集和模型可在https://anonymous.4open.science/r/I-SHEEP获取。
引用
@article{arxiv.2408.08072,
title = {I-SHEEP: Self-Alignment of LLM from Scratch through an Iterative Self-Enhancement Paradigm},
author = {Yiming Liang and Ge Zhang and Xingwei Qu and Tianyu Zheng and Jiawei Guo and Xinrun Du and Zhenzhu Yang and Jiaheng Liu and Chenghua Lin and Lei Ma and Wenhao Huang and Jiajun Zhang},
journal= {arXiv preprint arXiv:2408.08072},
year = {2024}
}