用于二进制神经网络的设计抖动激活

二进制神经网络通过对网络权重或激活值进行二值化，成为计算机视觉任务中一种具有成本效益和能源效率的解决方案。然而，常见的二进制激活函数，如 Sign 激活函数，仅以单个阈值进行突变性二值化，丢失了特征输出中细粒度信息。本文提出一种激活函数，采用多阈值遵循抖动原则的做法，依据每个像素的空间周期性阈值核，将 Sign 激活函数进行偏移。与文献中方法不同，此处的偏移是为一组相邻像素联合定义的，充分利用了空间相关性。在分类任务上进行实验，表明所设计的抖动 Sign 激活函数作为二进制神经网络的替代激活函数具有有效性，而且不会增加计算成本。进一步地，DeSign 在保留细节与二进制操作效率之间实现了平衡。