桥接质量与多样性：基于二分图的数据选择
计算与语言
2025-05-28 v2
摘要
大型语言模型（LLM）的性能严重受监督微调（SFT）期间所用数据的质量和多样性影响。然而，现有数据选择方法往往侧重其中一项，导致训练结果次优。为此，本文将数据选择建模为集合覆盖问题，提出 GraphFilter 方法，平衡数据选择中的质量与多样性。GraphFilter 将数据集建模为连接句子与其构成 n-gram 的二分图，随后采用组合质量与多样性指标的乘积优先函数。GraphFilter 迭代选择优先级最高的句子，从二分图中移除已覆盖的 n-gram，重新计算优先级以反映数据格局变化。我们使用三个模型骨架通过六个广泛使用的基准测试验证 GraphFilter，证明其在模型性能和计算效率上均优于九个现有基线。进一步分析显示，我们的设计选择导致更有效的子集选择，凸显指令多样性的价值，并提供质量与多样性如何与不同子集大小交互的见解。
引用
@article{arxiv.2410.12458,
title = {The Best of Both Worlds: Bridging Quality and Diversity in Data Selection with Bipartite Graph},
author = {Minghao Wu and Thuy-Trang Vu and Lizhen Qu and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2410.12458},
year = {2025}
}
备注
Accepted by ICML 2025