DoMIX：一种在微调中利用领域知识的高效框架
计算与语言
2025-07-04 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
领域自适应预训练（DAP）近期因其在微调预训练模型方面的有效性而受到关注。在此基础上，持续 DAP 被探索用于开发能够逐步整合不同领域数据集的预训练模型。然而，现有的持续 DAP 方法面临若干局限性：（1）训练期间计算成本和 GPU 内存使用高；（2）对增量数据顺序敏感；（3）为所有终端任务提供单一通用模型，这与 DAP 的本质相矛盾。在本文中，我们提出 DoMIX，一种通过利用 LoRA 模块（一种代表性的参数高效微调（PEFT）方法）来解决这些挑战的新方法。我们的方法实现了高效且并行的领域自适应预训练，对领域顺序具有鲁棒性，并有效利用累积知识为特定任务提供定制化的预训练模型。我们还证明了我们的方法可以超越 DAP 设置扩展到标准 LLM 微调场景。代码可在 https://github.com/dohoonkim-ai/DoMIX 获取。
引用
@article{arxiv.2507.02302,
title = {DoMIX: An Efficient Framework for Exploiting Domain Knowledge in Fine-Tuning},
author = {Dohoon Kim and Donghun Kang and Taesup Moon},
journal= {arXiv preprint arXiv:2507.02302},
year = {2025}
}
备注
22 pages, 5 figures, ACL 2025 Main