微调的子集选择：数学领域适应的实用-多样性平衡方法
机器学习
2025-05-06 v1 人工智能
摘要
我们提出了一种精细的方法，高效地在特定领域（如数学领域）对大型语言模型（LLM）进行微调，采用受预算限制的子集选择方法。该方法结合实用性和多样性指标，选取最具信息性和代表性的训练样本。最终目标是在整个数据集中精心挑选数据点，以实现接近完整数据集的性能，同时显著降低计算成本和训练时间，并与完整数据集保持竞争力。实用指标综合了困惑度和链路思考（Chain-of-Thought, CoT）损失，以识别对模型学习贡献最大的具有挑战性的样本；而多样性指标确保覆盖数学子领域的广泛范围。我们在LLaMA-3 8B和Phi-3模型上进行评估，比较了包括随机选择、基于多样性的采样以及现有SOTA子集选择技术在内的多个基线方法。
引用
@article{arxiv.2505.01523,
title = {Subset Selection for Fine-Tuning: A Utility-Diversity Balanced Approach for Mathematical Domain Adaptation},
author = {Madhav Kotecha and Vijendra Kumar Vaishya and Smita Gautam and Suraj Racha},
journal= {arXiv preprint arXiv:2505.01523},
year = {2025}
}
备注
9 pages