Nerva：神经网络真正稀疏实现
机器学习
2024-07-25 v1
摘要
我们介绍Nerva，这是一个正在C++中开发的快速神经网络库。它通过采用Intel数学内核库(MKL)的稀疏矩阵运算来实现稀疏性，从而无需二进制掩码。我们表明，Nerva在保持与PyTorch等效准确率的同时，显著降低了训练时间和内存使用。我们对在CIFAR-10上进行静态稀疏实验的MLP进行测试。在高稀疏水平(如99%)下，运行时间比使用掩码的PyTorch模型缩短为原来的4倍。类似于其他流行框架(如PyTorch和Keras)，Nerva提供了Python接口，供用户使用。
引用
@article{arxiv.2407.17437,
title = {Nerva: a Truly Sparse Implementation of Neural Networks},
author = {Wieger Wesselink and Bram Grooten and Qiao Xiao and Cassio de Campos and Mykola Pechenizkiy},
journal= {arXiv preprint arXiv:2407.17437},
year = {2024}
}
备注
The Nerva library is available at https://github.com/wiegerw/nerva