LinkQA：从多个知识点紧密链接的种子数据合成多样化问答
计算与语言
2025-08-07 v2
摘要
大型语言模型（LLM）的发展受限于高质量、多样化训练数据的稀缺。为此，我们提出LinkSyn，一种新型的知识点（KP）图驱动的合成框架，使其能够灵活控制学科和难度分布，同时平衡KP覆盖率和流行度。LinkSyn从问答（QA）种子数据中提取KP并构建KP图，以从多个由KP紧密链接的种子数据通过图行走采样合成多样化QA数据。具体而言，LinkSyn包含（1）一种知识分布价值函数，用于引导路径采样概率的调整，在图行走期间平衡KP覆盖率和流行度；（2）通过DeepSeek-R1实现基于扩散的合成，利用在每条路径上密集逻辑关联的多个种子；（3）通过灵活的难度调整在给定学科内实现高难度QA增强。通过执行LinkSyn，我们合成了LinkQA，一个包含500亿token的多学科多样化QA数据集。对Llama-3 8B进行的大量实验表明，采用LinkQA进行持续预训练可在MMLU和CMMLU上平均提升11.51%，树立了新的SOTA纪录。LinkQA在模型规模和初始FLOPs规模方面均一致性地提升了性能。
引用
@article{arxiv.2508.01317,
title = {LinkQA: Synthesizing Diverse QA from Multiple Seeds Strongly Linked by Knowledge Points},
author = {Xuemiao Zhang and Can Ren and Chengying Tu and Rongxiang Weng and Hongfei Yan and Jingang Wang and Xunliang Cai},
journal= {arXiv preprint arXiv:2508.01317},
year = {2025}
}