使用随机块排列视觉Transformer的多任务分布式学习
机器学习
2022-04-08 v1 计算机视觉与模式识别
摘要
人工智能在健康研究中的广泛应用目前受到数据可用性限制的阻碍。分布式学习方法，如联邦学习（FL）和共享学习（SL），因其各自的优缺点被引入以解决此问题以及数据管理和所有权问题。最近提出的联邦分割任务无关（FeSTA）学习试图通过视觉Transformer（ViT）架构实现参与者之间的多任务协作，从而调和 FL 和 SL 的各自优点，但它们存在较高的通信开销。为解决这一问题，我们在此提出一种使用随机块排列 ViT 的多任务分布式学习。与 FeSTA 中使用基于 CNN 的头部不同，p-FeSTA 采用随机排列的简单块嵌入器，在不牺牲隐私的情况下提高了多任务学习性能。实验结果证实，所提出的方法显著增强了多任务协作的益处、通信效率和隐私保护，为医学成像领域的实用多任务分布式学习指明了方向。
引用
@article{arxiv.2204.03500,
title = {Multi-Task Distributed Learning using Vision Transformer with Random Patch Permutation},
author = {Sangjoon Park and Jong Chul Ye},
journal= {arXiv preprint arXiv:2204.03500},
year = {2022}
}
备注
10 pages