增量迁移学习综述：结合点对点联邦学习与域增量学习用于多中心协作
机器学习
2023-10-02 v1 计算机视觉与模式识别
摘要
由于数据隐私限制，多个临床中心之间的数据共享受限，阻碍了基于多中心协作的高性能深度学习模型的发展。朴素的权重迁移方法在不共享原始数据的情况下传递中间模型权重，从而可规避数据隐私限制。然而，由于遗忘问题，当模型从一个中心迁移至下一个中心时通常会出现性能下降。增量迁移学习结合点对点联邦学习与域增量学习，能够克服数据隐私问题，同时借助持续学习技术保持模型性能。本工作将常规的域/任务增量学习框架改造用于增量迁移学习，并对不同基于正则化的持续学习方法在多中心协作中的效能进行了全面调研。我们深入研究了数据异质性、分类器头设置、网络优化器、模型初始化、中心顺序与权重迁移类型的影响。我们的框架已公开供研究界进一步开发。
引用
@article{arxiv.2309.17192,
title = {A Survey of Incremental Transfer Learning: Combining Peer-to-Peer Federated Learning and Domain Incremental Learning for Multicenter Collaboration},
author = {Yixing Huang and Christoph Bert and Ahmed Gomaa and Rainer Fietkau and Andreas Maier and Florian Putz},
journal= {arXiv preprint arXiv:2309.17192},
year = {2023}
}