协同优于差异：一种基于划分的多领域 LLM 微调方法
机器学习
2026-01-14 v3
摘要
大型语言模型（LLM）展现出令人瞩目的泛化能力，然而由于领域间的干扰，使其在多个异构领域间进行有效适配仍具挑战性。为克服这一挑战，我们提出了一种基于划分的多阶段微调框架，旨在利用领域间的协同效应，同时最小化负迁移。我们的方法通过平衡领域差异、协同效应与模型容量约束，策略性地将领域划分为若干子集（阶段）。我们从理论上分析了所提出的框架，并推导出新的泛化界以证明我们划分策略的合理性。在各种语言理解任务上的大量实证评估表明，我们的方法始终优于 SOTA 基线。
引用
@article{arxiv.2511.07198,
title = {Synergy over Discrepancy: A Partition-Based Approach to Multi-Domain LLM Fine-Tuning},
author = {Hua Ye and Siyuan Chen and Haoliang Zhang and Weihao Luo and Yanbin Li and Xuan Zhang},
journal= {arXiv preprint arXiv:2511.07198},
year = {2026}
}
备注
20 pages, 5 figures, 21 tables. Accepted at NeurIPS 2025. Corresponding author: Xuan Zhang ([email protected])