TAGCOS：面向任务无关的梯度聚类核心集选择用于指令调优数据
计算与语言
2024-07-23 v1 人工智能
机器学习
摘要
指令调优在自然语言处理中取得了前所未有的成功，将大型语言模型转化为多功能聊天机器人。然而，随着指令数据集种类和数量的增加，对计算资源的需求也日益增长。为此，提取一个小且信息丰富的子集（即核心集），以在性能上接近完整数据集方尚为关键。实现此目标面临诸多挑战：1）数据选择需要准确的数据表示来反映训练样本的质量，2）考虑到指令数据集的多样性，3）确保核心集选择算法在大型模型上的高效性。为此，我们提出了任务无关梯度聚类核心集选择方法（TAGCOS）。具体而言，我们利用样本梯度作为数据表示，进行聚类以分组相似数据，并采用高效的贪心算法进行核心集选择。实验结果表明，我们的算法仅选取5%的数据，便超越了其他无监督方法，达到与完整数据集相当的性能。
引用
@article{arxiv.2407.15235,
title = {TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data},
author = {Jipeng Zhang and Yaxuan Qin and Renjie Pi and Weizhong Zhang and Rui Pan and Tong Zhang},
journal= {arXiv preprint arXiv:2407.15235},
year = {2024}
}
备注
Preprint. Our code and models are available at: https://github.com/2003pro/TAGCOS