RECALL：基于层次模型合并的表示对齐式灾难性遗忘缓解
计算与语言
2025-10-24 v1 人工智能
摘要
我们揭示了大型语言模型（LLM）的内部表示确实是已学习知识的可靠代理，并提出RECALL——一种基于表示对齐的创新性模型合并框架，用于在不访问历史数据的情况下实现持续学习。RECALL通过对聚类典型样本上的层级隐藏表示计算模型间相似性，并执行自适应的、层次化的参数融合以跨模型对齐知识。该设计使我们能够在浅层保留通用特征，同时允许深层实现任务特定的适应。与需要任务标签或产生性能权衡的先前方法不同，RECALL实现了无缝的多域集成和对灾难性遗忘的强大抵抗力。在五个NLP任务和多种持续学习情景下的大规模实验表明，RECALL在知识保留和泛化方面均优于基线，为不断演化的LLM提供了可扩展且无数据依赖的解决方案。
引用
@article{arxiv.2510.20479,
title = {RECALL: REpresentation-aligned Catastrophic-forgetting ALLeviation via Hierarchical Model Merging},
author = {Bowen Wang and Haiyuan Wan and Liwen Shi and Chen Yang and Peng He and Yue Ma and Haochen Han and Wenhao Li and Tiao Tan and Yongjian Li and Fangming Liu and Yifan Gong and Sheng Zhang},
journal= {arXiv preprint arXiv:2510.20479},
year = {2025}
}