HBO：用于微调大语言模型的分层平衡优化
计算与语言
2026-02-06 v3
摘要
在多样化数据集的混合体上微调大语言模型 (LLM) 面临着数据不平衡和异质性带来的挑战。现有方法通常跨数据集（全局）解决这些问题，但忽略了单个数据集内部（局部）的不平衡和异质性，这限制了它们的有效性。我们引入了分层平衡优化 (HBO)，这是一种新颖的方法，它使 LLM 能够在微调过程中自主调整数据分配，既跨数据集（全局）进行，也在每个单独数据集内部（局部）进行。HBO 采用双层优化策略，包含两类参与者：一个全局参与者 (Global Actor)，用于平衡训练混合体中不同子集之间的数据采样；以及多个局部参与者 (Local Actors)，用于根据难度级别优化每个子集内部的数据使用。这些参与者由源自 LLM 训练状态的奖励函数引导，该函数衡量学习进度和相对性能提升。我们在多语言和多任务设置下，使用三个 LLM 骨干网络在九个多样化任务上评估了 HBO。结果表明，HBO 始终优于现有基线，取得了显著的准确率提升。我们的深入分析进一步证明，HBO 的全局参与者和局部参与者都能在微调过程中有效调整数据使用。HBO 为 LLM 微调中的数据不平衡和异质性挑战提供了一个全面的解决方案，使得在多样化数据集上的训练更加有效。
引用
@article{arxiv.2505.12300,
title = {HBO: Hierarchical Balancing Optimization for Fine-Tuning Large Language Models},
author = {Weixuan Wang and Minghao Wu and Barry Haddow and Alexandra Birch},
journal= {arXiv preprint arXiv:2505.12300},
year = {2026}
}