LoKI：大语言模型的低损伤知识植入
计算与语言
2025-11-25 v2
摘要
微调使预训练模型适应特定任务，但带来了灾难性遗忘（CF）的风险，即预训练中的关键知识被覆盖。为了在通用框架中解决CF问题，我们提出了低损伤知识植入，这是一种参数高效微调（PEFT）技术，利用了关于知识如何在 Transformer 架构中存储的最新机制理解。我们在两种真实微调场景下将 LoKI 与最先进的 PEFT 方法进行了比较。结果表明，LoKI 展现出对通用能力显著更好的保留效果。同时，在各种模型架构中，其特定任务性能可比拟甚至超越全参数微调和这些 PEFT 方法。我们的工作将 LLM 知识存储的机制洞察与实际微调目标联系起来，实现了特定任务适应与通用能力保留之间的有效平衡。
引用
@article{arxiv.2505.22120,
title = {LoKI: Low-damage Knowledge Implanting of Large Language Models},
author = {Runyu Wang and Peng Ping and Zhengyu Guo and Xiaoye Zhang and Quan Shi and Liting Zhou and Tianbo Ji},
journal= {arXiv preprint arXiv:2505.22120},
year = {2025}
}
备注
AAAI-26 Oral