FeSViBS：基于块采样的视觉Transformer联邦拆分学习
计算机视觉与模式识别
2023-06-27 v1
摘要
数据稀缺是阻碍在关键医疗应用中学习强大机器学习模型的重要障碍。多个实体（如医院）之间的数据共享机制可以加速模型训练并产生更准确的预测。近来，联邦学习（FL）和拆分学习（SL）等方法促进了无需交换私有数据的协作。在本工作中，我们提出了一种用于医学图像分类任务的框架，称为基于块采样的视觉Transformer联邦拆分学习（FeSViBS）。FeSViBS 框架建立在现有联邦拆分视觉Transformer之上，并引入了一个块采样模块，该模块利用服务器端的视觉Transformer（ViT）提取的中间特征。这是通过从中间Transformer块中采样特征（图像块令牌）并在将其传回客户端之前将其信息内容蒸馏为伪类令牌来实现的。这些伪类令牌作为一种有效的特征增强策略，增强了所学模型的泛化能力。我们在三个公开可用的医学成像数据集：HAM1000、BloodMNIST 和 Fed-ISIC2019 上，在 IID 和非 IID 设置下，展示了我们提出的方法相对于其他 SL 和 FL 方法的效用。代码：https://github.com/faresmalik/FeSViBS
引用
@article{arxiv.2306.14638,
title = {FeSViBS: Federated Split Learning of Vision Transformer with Block Sampling},
author = {Faris Almalik and Naif Alkhunaizi and Ibrahim Almakky and Karthik Nandakumar},
journal= {arXiv preprint arXiv:2306.14638},
year = {2023}
}