HyBNN与FedHyBNN：（联邦）混合二值神经网络

二值神经网络（BNN）是一种权重和激活被约束为-1(0)和+1的神经网络，是深度神经网络的替代方案，具有训练更快、内存消耗更低和模型轻量的优点，非常适合在资源受限设备上使用，同时能够利用深度神经网络对应的架构。然而，BNN中使用的输入二值化步骤会导致严重的精度损失。本文中，我们引入一种新颖的混合神经网络架构——混合二值神经网络（HyBNN），其由一个任务无关、通用的全精度变分自编码器（具有二值潜空间）和一个任务特定的二值神经网络组成，能够通过使用全精度变分自编码器作为特征提取器，大幅限制由输入二值化引起的精度损失。我们利用它将深度神经网络的最先进精度与二值神经网络更快的训练时间、更短测试推理时间和功耗效率相结合。我们表明，所提出的系统能够大幅优于带输入二值化的原始二值神经网络。我们还引入FedHyBNN，一种通信高效的HyBNN联邦对应版本，并证明其能够达到与非联邦版本相同的精度。我们的源代码、实验参数和模型可在 https://anonymous.4open.science/r/HyBNN 获取。