In2Core：基于影响函数的大语言模型指令微调核心集选择方法
机器学习
2024-10-04 v2 机器学习
摘要
尽管取得了进展，大语言模型（Large Language Model, LLM）微调仍昂贵，由于参数数量庞大且需要大量数据以实现模型泛化。获取计算资源仍是开源社区的障碍。为此，我们提出In2Core算法，通过分析训练样本与评估样本之间的相关性来选择核心集。我们评估模型内部梯度以估计这种关系，旨在对每个训练点的贡献进行排序。为提高效率，我们提出一种优化方法，在保留类似精度的同时，使用更少的层数计算影响函数。通过将该算法应用于LLM的指令微调数据，我们仅需50%的训练数据即可实现相似性能。同时，使用影响函数分析模型对特定测试样本的覆盖情况，可提供可靠且可解释的信号，表明训练集对这些测试点的覆盖情况。
引用
@article{arxiv.2408.03560,
title = {In2Core: Leveraging Influence Functions for Coreset Selection in Instruction Finetuning of Large Language Models},
author = {Ayrton San Joaquin and Bin Wang and Zhengyuan Liu and Nicholas Asher and Brian Lim and Philippe Muller and Nancy F. Chen},
journal= {arXiv preprint arXiv:2408.03560},
year = {2024}
}
备注
EMNLP 2024 - Findings