ARIA：联邦视觉分类中架构、初始化与聚合方法间的相互作用
计算机视觉与模式识别
2024-03-04 v2 人工智能
分布式、并行与集群计算
摘要
联邦学习（FL）是一种协作训练范式，它通过消除敏感数据的交换、转而依赖客户端与服务器之间模型参数的交换，实现跨机构模型的隐私保护学习。尽管已有关于客户端模型如何被聚合的单独研究，以及最近关于 ImageNet 预训练益处的研究，但对于所选定用于联邦的架构之影响，以及上述各要素如何相互关联，仍缺乏理解。为此，我们开展了首项联合的架构-初始化-聚合研究，并在一系列医学图像分类任务上对 ARIA 进行了基准测试。我们发现，与当前做法相反，ARIA 各要素必须共同选择方能取得最佳可能性能。我们的结果还阐明了依据任务对每个要素的良好选择、归一化层的作用，以及 SSL 预训练的效用，指出了设计 FL 专用架构与训练流程的潜在方向。
引用
@article{arxiv.2311.14625,
title = {ARIA: On the Interaction Between Architectures, Initialization and Aggregation Methods for Federated Visual Classification},
author = {Vasilis Siomos and Sergio Naval-Marimont and Jonathan Passerat-Palmbach and Giacomo Tarroni},
journal= {arXiv preprint arXiv:2311.14625},
year = {2024}
}
备注
Accepted to ISBI 2024, camera-ready version with updated information on hyper-parameter tuning and clearer phrasing for practical take-aways