具有自适应模型 recalibration 的动态分配 hypernetwork 用于联邦持续学习
机器学习
2025-03-25 v1 计算机视觉与模式识别
摘要
联邦持续学习 (FCL) 为在医疗等实际场景中促进联邦学习 (FL) 的应用提供了新范式，where 任务在客户端之间动态且异步地演变。现有的服务器端 FCL 方法在天然域本质上通过客户端对所有涉及任务的聚合来构建可持续学习的服务器模型。然而，这些方法面临两个挑战：(1) 由于对以前学习的任务发生灾难性遗忘，导致服务器模型中误差累积，难以维持所有任务的全面知识。(2) 由于不同客户端处理的异步任务导致优化偏差，使得不同客户端在相同时间步骤下的优化目标发生冲突。本文首次提出一种新的医疗域服务器端 FCL 模式，称为动态分配 hypernetwork 伴随自适应模型 recalibration (FedDAH)，以便在客户端之间 distinct and dynamic task streams 下促进协合学习。为缓解灾难性遗忘，我们提出了动态分配 hypernetwork (DAHyper)，其中设计了一个持续更新的 hypernetwork 来管理任务标识符与其关联模型参数之间的映射，实现对模型在客户端间的动态分配。对于优化偏差，我们引入一种新颖的自适应模型 recalibration (AMR) 来将历史模型的候选变更纳入当前服务器更新中，基于相似性为同一任务在不同时间步骤下的相同任务分配权重，以实现持续优化。广泛的在 AMOS 数据集上的实验表明，我们的 FedDAH 在具有不同任务流的 site 上优于其他 FCL 方法。代码可在：https://github.com/jinlab-imvr/FedDAH 获取。
引用
@article{arxiv.2503.18064,
title = {Dynamic Allocation Hypernetwork with Adaptive Model Recalibration for FCL},
author = {Xiaoming Qi and Jingyang Zhang and Huazhu Fu and Guanyu Yang and Shuo Li and Yueming Jin},
journal= {arXiv preprint arXiv:2503.18064},
year = {2025}
}