基于 Hammersley-Chapman-Robbins 界的机密性保证

在使用深度神经网络进行推理时，通过在最终分类器或其他特定任务层之前的最后几层激活中添加噪声来保护隐私是可能的。这些层中的激活被称为“特征”（或者较少见地称为“嵌入”或“特征嵌入”）。添加的噪声有助于防止从含噪特征中重建输入。对输入的每个可能的无偏估计量的方差进行下界界定，可以量化由这种添加的噪声带来的机密性。Hammersley 以及 Chapman 和 Robbins 的经典不等式——HCR 界——提供了方便且计算上易于处理的界。数值实验表明，对于包含各 10 个图像分类类别的数据集“MNIST”和“CIFAR-10”的小型神经网络，HCR 界已处于有效的边缘。对于在包含 1000 个类别的数据集“ImageNet-1000”上预训练的标准深度神经网络“ResNet-18”和“Swin-T”，HCR 界本身似乎不足以保证推理输入的机密性。在 ImageNet 的情况下，可能需要将特征噪声添加与其他提供机密性的方法相结合。在所有情况下，本文报告的结果仅考虑添加的噪声量不会导致含噪特征的分类准确率显著下降。因此，添加的噪声在不大幅降低图像分类任务准确率的情况下增强了机密性。