LongMagpie：生成大规模长上下文指令的自合成方法
计算与语言
2025-06-04 v2 人工智能
摘要
高质量的长上下文指令数据对于对齐长上下文大型语言模型（LLM）至关重要。尽管 Qwen 和 Llama 等模型已公开发布，但其长上下文指令数据仍属专有。人工标注成本高昂且具有挑战性，而模板化合成方法则限制了规模、多样性和质量。我们提出 LongMagpie，一种自合成框架，用于自动生成大规模长上下文指令数据。我们的关键洞察是，针对文档后跟随特定标记的对齐长上下文 LLM，在用户回合前呈现文档时，会自回归地生成与上下文相关的查询。通过收集文档-查询对及模型的响应，LongMagpie 在无需人工 effort 的情况下产生高质量指令。HEL M ET、RULER 和 Longbench v2 上的实验表明，LongMagpie 在长上下文任务上实现领先性能，同时在短上下文任务上保持具竞争力的性能，证明其是一种简单且有效的开放式、多样且可扩展的长上下文指令数据合成方法。
引用
@article{arxiv.2505.17134,
title = {LongMagpie: A Self-synthesis Method for Generating Large-scale Long-context Instructions},
author = {Chaochen Gao and Xing Wu and Zijia Lin and Debing Zhang and Songlin Hu},
journal= {arXiv preprint arXiv:2505.17134},
year = {2025}
}