Condor：利用知识驱动的数据合成与精炼增强 LLM 对齐
计算与语言
2025-01-22 v1 人工智能
摘要
监督微调（SFT）数据的质量在增强大型语言模型（LLM）的对话能力方面起着关键作用。然而，随着LLM的不断进步，可获得的高质量人工标注SFT数据已成为显著的瓶颈，迫使更多依赖合成训练数据。本文介绍了Condor，一套新颖的两阶段合成数据生成框架，集成了World Knowledge Tree和自我反思精炼，产生规模化的高质量SFT数据。我们的实验结果表明，仅使用2万个Condor生成的样本即可获得优于对手的性能。Condor的额外精炼阶段进一步实现了对不同规模模型（最高达72B）的迭代自我改进，验证了我们方法的有效性。此外，我们对合成数据在后训练中的规模化进行了调查，发现了大量未被探索的性能提升潜力，为未来研究开辟了广阔的研究前景。
引用
@article{arxiv.2501.12273,
title = {Condor: Enhance LLM Alignment with Knowledge-Driven Data Synthesis and Refinement},
author = {Maosong Cao and Taolin Zhang and Mo Li and Chuyu Zhang and Yunxin Liu and Haodong Duan and Songyang Zhang and Kai Chen},
journal= {arXiv preprint arXiv:2501.12273},
year = {2025}
}
备注
Tech Report. Github: https://github.com/InternLM/Condor