面向输入特征压缩的可训练按位软量化

物联网场景下对机器学习应用的日益增长的需求，催生了新的方法来优化有限的计算和存储资源的使用。尽管在减小模型大小和提高效率方面取得了显著进展，但许多应用仍需要通过远程服务器提供所需资源。然而，这些方法依赖于从边缘设备传输数据到远程服务器，而在带宽、延迟或能源受限的情况下可能不可行。我们提出一种任务特定的可训练特征量化层，用于压缩神经网络的输入特征。这可以显著减少从设备传输到远程服务器的数据量。特别地，该层允许每个输入特征量化到用户定义的位数，从而实现数据收集时的简单设备端压缩。该层设计用于用 sigmoid 函数近似阶梯函数，以实现可训练的量化阈值。通过拼接多个 sigmoid 函数的输出（即按位软量化），可在集成到神经网络后实现可训练的量化值。我们将方法与全精度推理以及几种量化基线进行比较。实验表明，我们的方法在保持接近全精度模型性能的同时，优于标准量化方法。具体取决于数据集，相较于 32 位输入可实现 5 倍至 16 倍的压缩比。