基于神经元独占性分析的数据重构安全边界探索

在现有的针对神经网络梯度的隐私攻击中，从梯度反向推导训练批次的数据重构攻击（data reconstruction attack）对私有训练数据构成严重威胁。尽管其在大型架构和小训练批次上取得了经验性成功，但当攻击更小架构或更大批次时，也观察到不稳定的重构精度。由于现有基于学习的攻击可解释性弱，关于数据重构攻击为何、何时以及如何可行知之甚少。在我们的工作中，我们通过从使用修正线性单元（ReLU，实践中最流行的激活函数）的神经网络微观视角，对从梯度进行数据重构的安全边界进行了首次分析性研究。我们首次以训练批次的神经元独占性状态来刻画数据重构攻击的不安全/安全边界，该状态由独占激活神经元（ExAN，即仅被批次中一个样本激活的ReLU）的数量来度量。直观上，我们表明具有更多ExAN的训练批次更容易受到数据重构攻击，反之亦然。一方面，我们构建了一种新颖的确定性攻击算法，其在重构位于神经网络不安全边界内的训练批次时大幅优于先前的攻击。同时，对于位于安全边界内的训练批次，我们证明了唯一重构的不可能性，并基于此设计了独占性降低策略以扩大安全边界用于缓解目的。