私有推理中线性化对群体准确率的差异性影响

确保在密码学安全数据上进行隐私保护推理是一个公认的计算挑战。为了缓解非线性激活中昂贵的密码学计算瓶颈，近期方法建议将神经网络中这些激活的目标部分进行线性化。该技术可显著减少运行时间，且对准确率的影响通常可忽略不计。在本文中，我们证明这种计算上的好处可能导致公平性成本增加。具体而言，我们发现减少ReLU激活的数量会不成比例地降低少数群体相较于多数群体的准确率。为了解释这些观察结果，我们在关于决策边界性质的受限假设下提供了一种数学解释，同时展示了该问题在广泛使用的数据集和架构中的普遍性。最后，我们展示了如何通过一个简单的程序来改变线性化模型的微调步骤，从而作为一种有效的缓解策略。