深度神经网络中的时间稀疏性训练及其在视频处理中的应用

激活稀疏性可提升具备稀疏感知能力的神经网络加速器的计算效率与资源利用率。由于深度神经网络（DNN）中的主要运算是激活与权重的乘累加（MAC）以计算内积，跳过两个操作数中至少一个为零的运算，可在延迟和功耗方面使推理更高效。激活的空间稀疏化是 DNN 文献中的热门话题，已有若干方法被确立以引导 DNN 实现该特性。另一方面，时间稀疏性是受生物启发的脉冲神经网络（SNN）的固有特征，神经形态处理利用其实现硬件效率。在 DNN 文献中，引入并利用时空稀疏性是一个较少被探索的话题，但却与 DNN 从静态信号处理转向更多流式信号处理的趋势完美契合。为此，本文提出一种新的 DNN 层（称为 Delta 激活层），其唯一目的是在训练期间促进激活的时间稀疏性。Delta 激活层将时间稀疏性转化为空间激活稀疏性，以便在硬件中执行稀疏张量乘法时加以利用。通过在训练期间采用 delta 推理和“常规的”空间稀疏化启发式方法，所得模型学会利用不仅是空间还有时间激活稀疏性（针对给定输入数据分布）。人们可在原始训练期间或精调阶段使用 Delta 激活层。我们已将 Delta 激活层实现为标准 Tensorflow-Keras 库的扩展，并将其应用于在 Human Action Recognition（UCF101）数据集上训练深度神经网络。我们报告了激活稀疏性近 3 倍的提升，且在更长训练后模型精度的损失可恢复。