视觉 Transformer 结合 CutMix 以提升拆分学习中的准确率、通信效率与数据隐私
机器学习
2022-07-04 v1 密码学与安全
计算机视觉与模式识别
分布式、并行与集群计算
摘要
本文寻求一种面向视觉 transformer（ViT）架构的分布式学习方案。与卷积神经网络（CNN）架构相比，ViT 通常具有更大的模型规模且计算开销高，使得联邦学习（FL）并不适用。拆分学习（SL）可通过拆分模型并在拆分层（亦称 smashed data）处通信隐藏表示来规避该问题。然而，ViT 的 smashed data 与输入数据一样大且相似，既削弱了 SL 的通信效率，又违反了数据隐私。为解决这些问题，我们提出一种新形式的 CutSmashed data，通过对原始 smashed data 进行随机打孔与压缩得到。基于此，我们为 ViT 开发了一种新颖的 SL 框架，称为 CutMixSL，其通信 CutSmashed data。CutMixSL 不仅降低了通信成本与隐私泄露，还天然引入了 CutMix 数据增强，从而提升了准确率与可扩展性。仿真证实，CutMixSL 优于并行化 SL 以及将 FL 与 SL 结合的 SplitFed 等基线方法。
引用
@article{arxiv.2207.00234,
title = {Visual Transformer Meets CutMix for Improved Accuracy, Communication Efficiency, and Data Privacy in Split Learning},
author = {Sihun Baek and Jihong Park and Praneeth Vepakomma and Ramesh Raskar and Mehdi Bennis and Seong-Lyun Kim},
journal= {arXiv preprint arXiv:2207.00234},
year = {2022}
}
备注
won the Best Student Paper Award at International Workshop on Trustworthy Federated Learning in Conjunction with IJCAI 2022 (FL-IJCAI'22), Vienna, Austria