Velocitune：基于速度的动态域重加权方法用于持续预训练

众所周知，多样化语料库对训练大型语言模型至关重要，而这些模型通常由多种领域的语料混合而成。通常情况下，之前的做法是以固定比例从不同领域采样训练数据，或在训练期间调整数据比例。然而，很少有方法解决领域自适应持续预训练的复杂性。为填补这一空白，我们提出Velocitune，一种新型框架动态评估学习速度并据此调整数据比例，优先选择学习较慢的领域，回避学习较快的领域，这由一种比例定律指引，无需额外成本即可表示每个领域的期望学习目标。为评估Velocitune的有效性，我们在以 CodeLlama 为基础的推理导向数据集上进行实验，并在以 Llama3 和 Mistral 为基础的系统命令生成专用语料库上进行实验。Velocitune 在数学和代码推理任务以及命令行生成基准测试中均实现了性能提升。进一步分析显示，Velocitune有效性的关键因素包括目标损失预测和数据排序。