DynaMiCS：使用动态混合实现受性能约束的 LLM 微调
机器学习
2026-05-12 v1
摘要
大型语言模型的多领域微调需要在提升目标领域性能的同时保持受限领域（如通用知识、指令遵循或安全评估）的性能。现有的混合数据策略依赖固定的经验法则或自适应规则，无法明确强制保留这些能力。我们提出了 DynaMiCS，这是一个动态混合优化器，将多领域微调表述为受约束的优化问题。在每次更新时，DynaMiCS 执行针对性的短期领域探测运行，以估计局部跨领域效应的斜率矩阵，捕捉每个微调数据集对每个评估领域的影响。然后将这些估计用于通过在概率单纯形上进行优化来计算混合权重，以提高目标领域性能，同时将受限领域损失保持在参考水平以下。在各种目标和受限领域数量的多领域微调场景中，DynaMiCS 在目标领域改进方面优于固定混合基线，同时实现了更高的约束满足度，计算成本更低，且无需参考模型、逐例评分或手动调整混合权重。
引用
@article{arxiv.2605.10770,
title = {DynaMiCS: Fine-tuning LLMs with Performance Constraints using Dynamic Mixtures},
author = {Eleonora Gualdoni and Sonia Laguna and Louis Bethune and Joao Monteiro and Pierre Ablin and Marco Cuturi},
journal= {arXiv preprint arXiv:2605.10770},
year = {2026}
}