别再两次思考：利用平移不变性进行 CNN 在线流式推断的高效方法
机器学习
2024-08-07 v1
摘要
深度学习时间序列处理常依赖带重叠窗口的卷积神经网络。这种重叠允许网络在窗口长度之外更快地产生输出，但会引入额外的计算开销。本文探讨了在推理期间利用卷积的平移不变性属性，以跳过连续重叠窗口之间层激活计算的潜在优化方法。虽然卷积具有平移不变性，但零填充和池化操作——在此类网络中广泛使用——不高效且 complicate 了高效流式推断。我们引入StreamiNNC，一种用于在线流式推断部署卷积神经网络的策略。我们探讨了零填充和池化对流式推断准确性的负面影响，推导了池化在流式处理期间的理论误差上界。我们通过提出信号填充和池化对齐方式来解决这些限制，并提供了用于设计和部署StreamiNNC模型的指南。我们在模拟数据和三个实际生物医学信号处理应用中验证了该方法。StreamiNNC 在所有三个网络中实现了流式输出与正常推断之间的低偏差（2.03 - 3.55% NRMSE）。本 work 表明，有可能线性加速处理重叠窗口的流式 CNN 的推断，从而抵消通常因重叠窗口而产生的额外计算。
引用
@article{arxiv.2408.03223,
title = {Don't Think It Twice: Exploit Shift Invariance for Efficient Online Streaming Inference of CNNs},
author = {Christodoulos Kechris and Jonathan Dan and Jose Miranda and David Atienza},
journal= {arXiv preprint arXiv:2408.03223},
year = {2024}
}