以恒定内存对极长序列进行分类并应用于恶意软件检测

机器学习近期的作品一直在应对规模不断增大的输入，其中网络安全提出了尤其极端长度的序列分类问题。在Windows可执行恶意软件检测中，输入可能超过$100$ MB，对应于具有$T=100,000,000$步的时间序列。迄今为止，处理此类任务最接近的方法是MalConv，一种能够处理最多$T=2,000,000$步的卷积神经网络。CNN的$\mathcal{O}(T)$内存阻碍了CNN在恶意软件上的进一步应用。在本工作中，我们开发了一种新的时间最大池化方法，使所需内存对序列长度$T$保持不变。这使得MalConv的内存效率提高$116\times$，在其原始数据集上训练速度最高提升$25.8\times$，同时去除了对MalConv输入长度的限制。我们将这些收益重新投入改进MalConv架构，开发了一种新的全局通道门控设计，给出了一种能够以高效方式学习一亿时间步上特征交互的注意力机制，这是原始MalConv CNN所缺乏的能力。我们的实现可在 https://github.com/NeuromorphicComputationResearchProgram/MalConv2 找到。