140 万开源蒸馏推理数据集以赋能大语言模型训练
计算与语言
2025-03-26 v1
摘要
AM-DeepSeek-R1-Distilled 是一个大规模数据集，包含通用推理任务的思考痕迹，由高质量且具有挑战性的推理问题组成。这些问题来自多个开源数据集，经过语义去重和细致清洗，以消除测试集污染。数据集中的所有响应均从推理模型（主要为 DeepSeek-R1）蒸馏而来，并经过严格的验证程序。数学问题通过核对参考答案进行验证，代码问题通过测试用例进行验证，其他任务则辅助奖励模型进行评估。仅通过简单的监督微调 (SFT) 使用本批数据训练的 AM-Distill-Qwen-32B 模型，在 AIME2024、MATH-500、GPQA-Diamond 和 LiveCodeBench 四项基准测试中超过了 DeepSeek-R1-Distill-Qwen-32B 模型。此外，AM-Distill-Qwen-72B 模型在所有基准测试中均超越了 DeepSeek-R1-Distill-Llama-70B 模型。我们将发布这 140 万个问题及其相应的响应，以促进强大推理导向大语言模型 (LLM) 的开发。该数据集已发布于 \href{https://huggingface.co/datasets/a-m-team/AM-DeepSeek-R1-Distilled-1.4M}{https://huggingface.co/datasets/a-m-team/AM-DeepSeek-R1-Distilled-1.4M}。
关键词
引用
@article{arxiv.2503.19633,
title = {1.4 Million Open-Source Distilled Reasoning Dataset to Empower Large Language Model Training},
author = {Han Zhao and Haotian Wang and Yiping Peng and Sitong Zhao and Xiaoyu Tian and Shuaiting Chen and Yunjie Ji and Xiangang Li},
journal= {arXiv preprint arXiv:2503.19633},
year = {2025}
}