大型-小型模型协同框架用于联邦持续学习
机器学习
2025-08-14 v1 人工智能
摘要
Foundation Models（FMs）的持续学习（CL）是联邦持续学习（FCL）中一个关键但未被充分探索的挑战，在FCL中，每个客户端在严格的数据和通信约束下，从私有的、演化的任务流中进行学习。尽管FMs具有强大的泛化能力，但它们常在本地下游任务上表现次佳，因为无法利用私有本地数据。此外，使FMs能够在不遗忘先前知识的前提下学习新任务本身就是一个极具挑战性的问题，主要由于其巨大的参数数量和高模型复杂度。相比之下，小型模型可以在资源受限的条件下进行本地训练，并受益于更成熟的CL技术。为弥合小型模型与FMs之间的差距，我们提出了第一个FCL协同框架，其中轻量级本地模型充当动态桥梁，不断适应新任务并提升大型模型的实用性。我们还包括两个新颖组件：Small Model Continual Fine-tuning用于防止小型模型的时间遗忘；One-by-One Distillation在服务器端执行个性化的异构本地知识融合。实验结果表明，该方法性能卓越，即使客户端使用异构的小型模型亦可实现优异性能。
关键词
引用
@article{arxiv.2508.09489,
title = {Large-Small Model Collaborative Framework for Federated Continual Learning},
author = {Hao Yu and Xin Yang and Boyang Fan and Xuemei Cao and Hanlin Gu and Lixin Fan and Qiang Yang},
journal= {arXiv preprint arXiv:2508.09489},
year = {2025}
}