刻画 LLM 多学科学习中的经验法则
机器学习
2026-02-13 v1
摘要
虽然大语言模型（LLM）通过在单个科学领域内微调取得优异性能，但其在多学科语境下的学习动力学仍不为人所知，尽管跨领域知识协同有望提升泛化并扩大适用范围。本文首次系统研究多学科 LLM 微调，构建五学科语料库并分析全参数微调、LoRA、LoRA-MoE 和 LoRA 组合的学习模式。尤其，我们发现多学科学习显著比单学科训练更具变动性，并提炼出四条一致经验法则：（1）平衡后多样化：低资源学科若不通过多样性感知上采样将导致性能下降；（2）合并后对齐：恢复指令遵循能力是跨学科协同的关键；（3）优化后扩展：参数扩展在无前置设计优化时收益有限；（4）共享后专化：非对称 LoRA-MoE 通过共享低秩投影实现最小可训练参数的稳健提升。这些法则构成原则化的多学科微调配方，为开发通用科学 LLM 提供可操作指导。
引用
@article{arxiv.2602.11215,
title = {Charting Empirical Laws for LLM Fine-Tuning in Scientific Multi-Discipline Learning},
author = {Lintao Wang and Zhuqiang Lu and Yilin Zhu and Kun Hu and Zhenfei Yin and Shixiang Tang and Zhiyong Wang and Wanli Ouyang and Xinzhu Ma},
journal= {arXiv preprint arXiv:2602.11215},
year = {2026}
}