基于协同突触智能的无排练持续联邦学习
机器学习
2025-05-16 v3 分布式、并行与集群计算
摘要
持续联邦学习（CFL）允许分布式设备从不断变化的训练数据中协同学习新概念，同时避免遗忘先前已见任务的知识。为了应对这一挑战，当前大多数 CFL 方法依赖于对先前数据的大量排练。尽管排练有效，但它会带来内存成本，并且可能违反数据隐私。考虑到这些因素，我们寻求将正则化技术应用于 CFL，因为其具有不需要样本缓存或排练的成本高效特性。具体而言，我们首先将传统正则化技术应用于 CFL，并观察到现有的正则化技术，特别是突触智能，在同质数据分布下能取得有希望的结果，但在数据异质时则会失败。基于这一观察，我们提出了一种简单而有效的 CFL 正则化算法，名为 FedSSI，它为异质数据设置下的 CFL 量身定制了突触智能。FedSSI 不仅能减少无排练带来的计算开销，还能解决数据异质性问题。大量实验表明，与最先进的方法相比，FedSSI 取得了优越的性能。
引用
@article{arxiv.2412.13779,
title = {Rehearsal-Free Continual Federated Learning with Synergistic Synaptic Intelligence},
author = {Yichen Li and Yuying Wang and Haozhao Wang and Yining Qi and Tianzhe Xiao and Ruixuan Li},
journal= {arXiv preprint arXiv:2412.13779},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2403.05890