换域：多域学习的轨迹最优性准则

在多域学习中，一个模型在多样化数据域上进行训练以利用共享知识并提高泛化能力。数据来自这些域的训练顺序对模型在每个域上的性能具有显著影响。然而，这一依赖关系鲜有研究。本文使用梯�向量场的李括号概念来研究多域学习中训练顺序（或数据混合）的影响。通过分析改变训练顺序的微小效应，我们识别了参数空间中两个训练域之间改变顺序可以获益的目标损失区域。我们在一个示例和双语大语言模型预训练上验证了我们理论框架对训练顺序（或数据混合）影响的预测。