用于隐私保护机器学习的核归一化卷积网络
机器学习
2023-06-05 v2 密码学与安全
摘要
归一化在联邦学习（FL）、差分隐私（DP）和差分隐私联邦学习（DP-FL）等隐私相关应用领域中是一个重要但研究不足的挑战。尽管批归一化在这些领域中的不适用性已被证明，但其他归一化方法对联邦或差分隐私模型性能的影响尚不清楚。为此，我们在 FL、DP 和 DP-FL 设置下对层归一化（LayerNorm）、组归一化（GroupNorm）和近期提出的核归一化（KernelNorm）进行了性能比较。我们的结果表明，在 FL 和 DP 中，对于浅层模型，LayerNorm 和 GroupNorm 相比基线（即无归一化）未提供性能增益。另一方面，它们在 DP-FL 中显著提升了浅层模型的性能，并在 FL 和 DP 中提升了更深模型的性能。此外，KernelNorm 在所有考虑的学习环境中，对浅层和更深模型在准确率和收敛速度（或通信效率）方面均显著优于其竞争者。基于这些关键观察，我们提出了一种称为 KNResNet-13 的核归一化 ResNet 架构，用于差分隐私学习。使用所提架构，我们在 CIFAR-10 和 Imagenette 数据集上从零训练时给出了新的 SOTA 准确率值。
引用
@article{arxiv.2210.00053,
title = {Kernel Normalized Convolutional Networks for Privacy-Preserving Machine Learning},
author = {Reza Nasirigerdeh and Javad Torkzadehmahani and Daniel Rueckert and Georgios Kaissis},
journal= {arXiv preprint arXiv:2210.00053},
year = {2023}
}
备注
To appear in the IEEE Conference on Secure and Trustworthy Machine Learning (SaTML), February 2023