鸡与蛋的困境：协优化 LLM 的数据与模型配置
机器学习
2026-02-20 v2 人工智能
摘要
协优化训练大型语言模型（LLM）的数据与模型配置呈现典型的鸡与蛋困境：最佳训练数据配置（例如数据混合）依赖于所选模型配置（例如模型架构），反之亦然。然而，同时协优化数据与模型配置常被视为不可行，现有方法要么关注数据优化，要么关注模型优化，而不考虑它们之间的相互作用。我们引入 JoBS 方法，利用基于规模定律的性能预测器辅助贝叶斯优化（BO），高效地协优化 LLM 训练数据与模型配置。JoBS 将部分优化预算用于学习一个 LLM 性能预测器，该预测器从少量训练步骤预测给定训练配置的前景。剩余预算用于完全依赖预测器进行 BO，实际上实现了对完整训练运行成本的摊销。我们研究 JoBS 的平均后悔，并设计最优的预算分配以最小化后悔。JoBS 在相同优化预算下，超越了现有的多保真度 BO 基线以及数据和模型优化方法。
引用
@article{arxiv.2602.08351,
title = {The Chicken and Egg Dilemma: Co-optimizing Data and Model Configurations for LLMs},
author = {Zhiliang Chen and Alfred Wei Lun Leong and Shao Yong Ong and Apivich Hemachandra and Gregory Kang Ruey Lau and Chuan-Sheng Foo and Zhengyuan Liu and Nancy F. Chen and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2602.08351},
year = {2026}
}