基于任务无关训练的联邦分割 Vision Transformer 用于 COVID-19 胸片诊断
图像与视频处理
2021-11-04 v2 人工智能
计算机视觉与模式识别
摘要
联邦学习通过在客户端间共享神经网络权重，在医疗领域受到关注，因为它能够在维护数据隐私的同时基于大规模去中心化数据训练。例如，这使得基于胸部 X 光（CXR）图像的 COVID-19 诊断神经网络训练无需在多家医院间收集患者 CXR 数据。遗憾的是，若采用高表达力网络架构，权重交换会迅速消耗网络带宽。所谓分割学习通过将神经网络划分为客户端与服务器端部分，部分解决了该问题，使网络客户端部分占用更少计算资源与带宽。然而，如何在不牺牲整体网络性能的前提下找到最优分割尚不明确。为融合这些方法并最大化其各自优势，本文表明近期开发的具有直观可分解配置的深度学习架构 Vision Transformer 非常适于分割学习且不牺牲性能。即使在模拟多源 CXR 数据集下医院间真实协作的非独立同分布数据中，所提框架也能达到与数据中心化训练相当的性能。此外，该框架结合异构多任务客户端还提升了包括 COVID-19 诊断在内的各任务表现，免去了共享含无数参数的大型权重的需要。我们的结果证实了 Transformer 在医学影像协作学习中的适用性，并为未来实际部署铺平道路。
引用
@article{arxiv.2111.01338,
title = {Federated Split Vision Transformer for COVID-19 CXR Diagnosis using Task-Agnostic Training},
author = {Sangjoon Park and Gwanghyun Kim and Jeongsol Kim and Boah Kim and Jong Chul Ye},
journal= {arXiv preprint arXiv:2111.01338},
year = {2021}
}
备注
Accepted for NeurIPS 2021