Swing 蒸馏：一种保护隐私的知识蒸馏框架
机器学习
2022-12-20 v1 人工智能
计算与语言
密码学与安全
摘要
知识蒸馏(KD)已被广泛用于模型压缩与知识迁移。通常，一个在充足数据上训练的大教师模型将知识迁移给一个小学生模型。然而，尽管 KD 取得了成功，关于 KD 是否泄露教师模型训练数据的研究甚少。在本文中，我们通过实验揭示 KD 存在隐私泄露风险。为缓解该问题，我们提出一种新颖的知识蒸馏方法——swing 蒸馏，其能有效保护教师模型的私有信息不流向学生模型。在我们的框架中，温度系数根据数据所含私有信息的程度动态自适应调整，而非预定义的常数超参数。它依据某位置上的词元包含私有信息的可能性为不同词元分配不同温度。此外，我们向学生模型提供的软目标中注入噪声，以避免无防护的知识迁移。在多个数据集与任务上的实验表明，相较于 KD，所提 swing 蒸馏能显著降低(以 canary exposure 计降低超 80%)隐私泄露风险，且性能具有竞争力或更优。进一步，swing 蒸馏对增长的隐私预算具有鲁棒性。
引用
@article{arxiv.2212.08349,
title = {Swing Distillation: A Privacy-Preserving Knowledge Distillation Framework},
author = {Junzhuo Li and Xinwei Wu and Weilong Dong and Shuangzhi Wu and Chao Bian and Deyi Xiong},
journal= {arXiv preprint arXiv:2212.08349},
year = {2022}
}