超越相似性：用于指令调优数据选择的基于梯度的图方法
计算与语言
2025-02-18 v1
摘要
大语言模型（LLMs）因其通过指令调优进行泛化的卓越能力而在各行业展现了巨大潜力。然而，领域特定数据的有限可用性严重阻碍了它们在专门任务上的表现。虽然现有方法主要关注从与目标领域相似的通用数据集中选择训练数据，但它们往往未能考虑指令的联合分布，导致学习效率低下和知识迁移不佳。为解决这些挑战，我们引入了 G2IS（基于梯度的图指令选择），一种通过构建混合梯度指令图来捕捉指令联合分布和指令间依赖关系的新方法。通过考虑指令之间的关系，G2IS 提高了领域适应效率。此外，我们提出了一种梯度游走算法来优化数据选择过程，增强了训练效果和效率。我们的实验表明，G2IS 在各种领域适应任务上优于传统方法，在复杂、数据稀缺的场景中实现了显著的性能提升。这些结果强调了 G2IS 在推进大型领域特定模型发展方面的潜力。
引用
@article{arxiv.2502.11062,
title = {Beyond Similarity: A Gradient-based Graph Method for Instruction Tuning Data Selection},
author = {Yang Zhao and Li Du and Xiao Ding and Yangou Ouyang and Hepeng Wang and Kai Xiong and Jinglong Gao and Zhouhao Sun and Dongliang Xu and Yang Qing and Dongchen Li and Bing Qin and Ting Liu},
journal= {arXiv preprint arXiv:2502.11062},
year = {2025}
}