无任务依赖的联邦学习
计算机视觉与模式识别
2025-01-07 v2 人工智能
分布式、并行与集群计算
摘要
在医学影像领域，利用来自不同机构的大规模数据集对于开发精确的深度学习模型至关重要，但隐私顾虑常常阻碍了数据共享。联邦学习(FL)作为一种在保持隐私的同时促进协同学习的热门解决方案，其在实际场景中的应用面临诸多挑战，如任务与数据异构性、标签稀缺、非独立同分布(non-IID)数据、计算波动等。在实际情况下，医疗机构可能不愿向FL服务器披露其任务细节，而希望加入 ongoing federated system 的机构面临泛化挑战——即面对未知任务。本研究通过采用自监督式FL框架来解决无任务依赖性和未知任务上的泛化问题。利用Vision Transformer(ViT)作为一致特征编码器进行自监督预训练，无需初始标签，使框架能够在不同数据集和任务之间实现有效的特征学习。我们的广泛评估使用了各种真实世界的非-IID医学影像数据集，验证了该方法的有效性——仅需集中方法通常需要的训练数据的5%，即可保留90%的F1准确率，并在面对分布外任务时表现出卓越的适应性。结果表明，联邦学习架构可能是实现多任务基础模型的潜在方法。
引用
@article{arxiv.2406.17235,
title = {Task-Agnostic Federated Learning},
author = {Zhengtao Yao and Hong Nguyen and Ajitesh Srivastava and Jose Luis Ambite},
journal= {arXiv preprint arXiv:2406.17235},
year = {2025}
}
备注
arXiv admin note: text overlap with arXiv:2205.08576 by other authors