基于稀疏自编码器的多样性驱动数据选择用于语言模型微调
计算与语言
2025-04-02 v2 人工智能
机器学习
摘要
由于数据收集量大、模型迭代快，指令微调数据往往数量饱和，这使得数据选择变得重要但尚未得到充分探索。现有的质量驱动数据选择方法，如LIMA（NeurIPS 2023）和AlpaGasus（ICLR 2024），普遍忽略了数据多样性和复杂性的同等重要性。本文旨在设计一种多样性感知的数据选择策略，并创新性地提出使用稀疏自编码器（SAE）来应对数据多样性度量的挑战。此外，SAE还能提供更多模型行为的可解释性，并解释例如选择最长响应这一做法的惊人有效性（ICML 2024）。通过有效的数据选择，我们实验证明，使用我们筛选数据训练的模型在模型能力上优于其他方法，降低了训练成本，并可能获得对模型行为更强的控制力。我们证明了SAE可以作为多样性度量的良好替代方案，并将我们的方法设计为可扩展，以适应潜在的工业大规模剪枝，同时我们还将发布训练好的SAE供更广泛的社区使用。
引用
@article{arxiv.2502.14050,
title = {Diversity-driven Data Selection for Language Model Tuning through Sparse Autoencoder},
author = {Xianjun Yang and Shaoliang Nie and Lijuan Liu and Suchin Gururangan and Ujjwal Karn and Rui Hou and Madian Khabsa and Yuning Mao},
journal= {arXiv preprint arXiv:2502.14050},
year = {2025}
}
备注
fix typos