GenKnowSub：通过通用知识减法提升 LLM 的模块化与可重用性
计算与语言
2025-08-05 v2 人工智能
摘要
大型语言模型常在零样例推理方面表现不佳，已提出多种模块化方法以解决此挑战。然而，我们假设关键限制仍是：通用知识与任务特定适应性的缠结。为此，我们提出一种模块化框架，通过构建任务特定 LoRA 模块库，同时包含通用领域 LoRA。从每个任务特定模块中减去该通用知识组件，可获得专注于任务相关信息的残差模块，我们将这种方法称为通用知识减法( GenKnowSub)。利用提炼后的任务特定模块和 Arrow 路由算法，动态选择和组合模块以处理新输入，无需额外训练。我们对 Phi-3 模型和标准 Arrow 基线进行了研究，结果表明，使用源自多种语言(包括英语、法语和德语)的通用知识 LoRA，可在单语和跨语环境中一系列基准测试上实现持续的性能提升。进一步的 Phi-2 实验表明，GenKnowSub 能为较弱的 LLM 提供通用性。完整代码和数据已发布于 https://github.com/saharsamr/Modular-LLM。
引用
@article{arxiv.2505.10939,
title = {GenKnowSub: Improving Modularity and Reusability of LLMs through General Knowledge Subtraction},
author = {Mohammadtaha Bagherifard and Sahar Rajabi and Ali Edalat and Yadollah Yaghoobzadeh},
journal= {arXiv preprint arXiv:2505.10939},
year = {2025}
}
备注
Accepted to ACL 2025 (main conference, short paper), 10 pages