用于视觉Transformer分拆学习的差分隐私CutMix
分布式、并行与集群计算
2022-10-31 v1 计算机视觉与模式识别
机器学习
摘要
近来，视觉Transformer（ViT）开始在计算机视觉任务中超越传统的CNN。考虑到采用ViT的隐私保护分布式学习，联邦学习（FL）通过通信模型参数，因ViT的大模型规模与计算成本而变得不合适。分拆学习（SL）通过在切分层通信击碎数据来规避此问题，却遭受数据隐私泄露以及因ViT击碎数据与输入数据间高相似性导致的高通信成本。受此问题驱动，我们提出DP-CutMixSL，一种差分隐私（DP）SL框架，通过开发DP块级随机CutMix（DP-CutMix）——一种以随机选中块替换击碎数据中块的新型隐私保护客户端间插值方案。通过实验，我们表明DP-CutMixSL不仅提升了隐私保障与通信效率，还取得了比其原始SL对应方法更高的准确率。理论上，我们分析DP-CutMix放大了Rényi DP（RDP），且其上界由其原始Mixup对应方法界定。
引用
@article{arxiv.2210.15986,
title = {Differentially Private CutMix for Split Learning with Vision Transformer},
author = {Seungeun Oh and Jihong Park and Sihun Baek and Hyelin Nam and Praneeth Vepakomma and Ramesh Raskar and Mehdi Bennis and Seong-Lyun Kim},
journal= {arXiv preprint arXiv:2210.15986},
year = {2022}
}
备注
to be presented at the 36nd Conference on Neural Information Processing Systems (NeurIPS 2022), First Workshop on Interpolation Regularizers and Beyond (INTERPOLATE), New Orleans, United States