APRIL：探寻视觉Transformer隐私上的阿喀琉斯之踵
计算机视觉与模式识别
2021-12-30 v1
摘要
联邦学习框架通常要求协作者共享公共模型的本地梯度更新，而非共享训练数据，以保护隐私。然而，先前关于梯度泄漏攻击的工作表明，私有训练数据可从梯度中复原。迄今为止，几乎所有相关工作都将其攻击建立在全连接或卷积神经网络之上。鉴于近期适配Transformer以解决各类视觉任务的趋势急剧上升，研究视觉Transformer的隐私风险极具价值。在本文中，我们从理论与实际两方面分析了基于自注意力机制的梯度泄漏风险。特别地，我们提出APRIL——注意力隐私泄漏（Attention PRIvacy Leakage），其对ViT等受自注意力启发的模型构成严重威胁。通过展示视觉Transformer如何面临经由梯度泄漏隐私的风险，我们呼吁设计更具隐私安全性Transformer模型及防御方案的重要性。
引用
@article{arxiv.2112.14087,
title = {APRIL: Finding the Achilles' Heel on Privacy for Vision Transformers},
author = {Jiahao Lu and Xi Sheryl Zhang and Tianli Zhao and Xiangyu He and Jian Cheng},
journal= {arXiv preprint arXiv:2112.14087},
year = {2021}
}