基于模型无关自解压方法保留大型语言模型知识
计算与语言
2026-04-24 v3 人工智能
计算机视觉与模式识别
摘要
人类能够在学习新信息时保留旧知识，但大型语言模型 (LLM) 在后训练或监督微调 (SFT) 于特定领域数据时常常遭受灾难性遗忘。此外，对于由LLM基座和视觉投影器组成的多模态大型语言模型 (MLLM)，在语言基准测试上的性能会显著下降，相较于单模态版本表现更差。为此，我们引入一种新颖的模型无关自解压方法——树生成 (Tree Generation, TG)，该方法将LLM内部的知识解压到训练语料库中。本文重点介绍TG-SFT，该方法可为指令调优步骤合成生成SFT数据。通过在MLLM的SFT过程中纳入导出的语料库，我们显著缓解了遗忘问题。
引用
@article{arxiv.2406.11354,
title = {Preserving Knowledge in Large Language Model with Model-Agnostic Self-Decompression},
author = {Zilun Zhang and Yutao Sun and Tiancheng Zhao and Leigang Sha and Ruochen Xu and Kyusong Lee and Jianwei Yin},
journal= {arXiv preprint arXiv:2406.11354},
year = {2026}
}
备注
Accepted by ICASSP 2026 (Oral)