面向草图识别的神经网络分布感知二值化

深度神经网络在一系列计算任务上极为有效。然而，它们往往计算开销大，尤其在视觉相关问题中，并且具有较大的内存需求。实现计算/空间效率显著提升的最有效方法之一是对网络中的权重和激活进行二值化。然而，朴素二值化在应用于大多数任务的网络时会导致精度下降。在本工作中，我们提出一种高度泛化的、分布感知的深度网络二值化方法，使我们能够保留二值化网络的优势，同时减少精度下降。我们还为所提方法在不同架构上开发了高效实现。我们对该技术进行了理论分析，以展示所得层的有效表示能力，并探究其建模最佳的数据形式。在流行数据集上的实验表明，我们的技术在保留二值化所带来的运行时间压缩、计算成本降低和功耗减少等益处的同时，较朴素二值化提供了更好的精度。