面向多样能力均衡学习的基于影响力的指令微调数据选择
计算与语言
2025-01-22 v1 人工智能
机器学习
摘要
合适的训练数据选择对于有效的大语言模型指令微调至关重要，旨在 (1) 激发强大能力，(2) 在多样化任务上实现均衡性能。影响力方法在实现 (1) 方面表现突出，通过估计每个训练样本对模型预测的贡献，但常在实现 (2) 方面受限。我们的系统性调查揭示，这种表现不足可归因于一种内在偏差：某些任务在本质上具有更大的影响力。结果导致数据选择偏向这些任务，不仅损害其他任务的性能，还反常地损害这些高影响力任务本身的表现。作为补救，我们提出 BIDS（Balanced and Influential Data Selection），即 BIDS 算法。BIDS 首先对训练数据的影响力分数进行归一化，然后通过选择对最不被代表任务影响力最大的训练样本来实现数据选择的迭代均衡。在以 Llama-3 和 Mistral-v0.3 为例的七个基准测试（涵盖五种多样化能力）上进行的实验表明，BIDS 在所有基于影响力的最先进算法和其他非影响力选择框架中均表现出色。令人惊讶的是，BIDS 选择的 15% 子集训练甚至能在更均衡的性能下超越完整数据集训练。我们的分析进一步突显了实例级归一化和数据选择的迭代优化对实现多样化能力的均衡学习的重要性。
引用
@article{arxiv.2501.12147,
title = {Improving Influence-based Instruction Tuning Data Selection for Balanced Learning of Diverse Capabilities},
author = {Qirun Dai and Dylan Zhang and Jiaqi W. Ma and Hao Peng},
journal= {arXiv preprint arXiv:2501.12147},
year = {2025}
}