基于随机量化神经网络的不变表示学习

表示学习算法提供了针对干扰因素学习输入数据不变表示的机会。许多作者利用此类策略学习公平表示，即去除了敏感属性信息的向量。这些方法颇具吸引力，因为它们可被解释为最小化神经层激活与敏感属性之间的互信息。然而，此类方法的理论基础要么依赖于无限精确对抗者的计算，要么依赖于最小化互信息估计的变分上界。本文中，我们提出一种直接计算神经层与敏感属性之间互信息的方法论。我们采用随机激活的二值神经网络，将神经元视为随机变量。由此我们能够计算（而非界定）层与敏感属性间的互信息，并在梯度下降中将其用作正则化因子。我们表明，该方法在公平表示学习中优于当前最优方法，且所学表示相较全精度神经网络展现出更高程度的不变性。