在非中心化设备上释放持续学习的力量：综述
机器学习
2025-05-07 v2 分布式、并行与集群计算
摘要
非中心化持续学习（NCCL）已成为一种新兴范式，使车辆和服务器等分布式设备能够处理来自联合非平稳环境的流数据。为了在分布式系统中部署该范式时实现高可靠性和可扩展性，必须克服源于空间和时间维度的挑战，这些挑战表现为分布偏移、灾难性遗忘、异构性和隐私问题。本综述全面考察了非中心化持续学习算法的发展及其在分布式设备上的实际部署。我们首先介绍非中心化学习和持续学习的背景与基础知识。然后，我们从三个层面回顾现有解决方案，以展示现有技术如何缓解灾难性遗忘和分布偏移。此外，我们深入探讨了各种类型的异构性问题、安全和隐私属性，以及三个主流场景中的实际应用。进一步地，我们建立了一个大规模基准测试来重新审视这一问题，并分析了最先进的 NCCL 方法的性能。最后，我们讨论了 NCCL 中面临的重要挑战和未来研究方向。
引用
@article{arxiv.2412.13840,
title = {Unleashing the Power of Continual Learning on Non-Centralized Devices: A Survey},
author = {Yichen Li and Haozhao Wang and Wenchao Xu and Tianzhe Xiao and Hong Liu and Minzhu Tu and Yuying Wang and Xin Yang and Rui Zhang and Shui Yu and Song Guo and Ruixuan Li},
journal= {arXiv preprint arXiv:2412.13840},
year = {2025}
}