具有自适应模型重校准的动态分配超网络用于联邦持续学习
机器学习
2025-03-28 v1 计算机视觉与模式识别
摘要
联邦持续学习（FCL）提供了一种新兴模式，以便在实际场景中应用联邦学习（FL），其中任务在客户机之间动态且异步地演变，特别是在医疗场景下。现有的服务器端FCL方法在本领域自然构建持续可学习的服务器模型，通过客户机聚合所有涉及的任务。然而，它们面临两个挑战：（1）针对以前学习的任务的灾难性遗忘，导致服务器模型中的误差累积，使其难以在所有任务上维持全面知识。（2）由于在不同客户机之间处理的异步任务导致的优化偏差，导致在相同时间步骤下不同客户机的优化目标发生碰撞。本文工作是在医疗领域提出一种新型服务器端FCL模式，动态分配超网络伴随自适应模型重校准（FedDAH）。它旨在促进跨客户机的动态任务流下的协作学习。为了缓解灾难性遗忘，我们提出了动态分配超网络（DAHyper），其中设计了一个持续更新的超网络来管理任务标识符与其关联模型参数之间的映射，实现客户机之间模型的动态分配。对于优化偏差，我们引入了一种新型自适应模型重校准（AMR），将历史模型的候选变更纳入当前服务器更新中，并基于相似性为跨不同时间步骤的相同任务分配权重，以实现持续优化。在AMOS数据集上的大量实验表明，我们的FedDAH在具有不同任务流的站点上优于其他FCL方法。代码可获取：https://github.com/jinlab-imvr/FedDAH。
引用
@article{arxiv.2503.20808,
title = {Dynamic Allocation Hypernetwork with Adaptive Model Recalibration for Federated Continual Learning},
author = {Xiaoming Qi and Jingyang Zhang and Huazhu Fu and Guanyu Yang and Shuo Li and Yueming Jin},
journal= {arXiv preprint arXiv:2503.20808},
year = {2025}
}