FasterAI：一个用于创建稀疏神经网络的轻量级库
机器学习
2022-07-05 v1 人工智能
摘要
FasterAI 是一个基于 PyTorch 的库，旨在促进深度神经网络压缩技术（如稀疏化、剪枝、知识蒸馏或正则化）的使用。该库构建的目的是实现快速实现与实验。更具体地说，压缩技术利用 fastai 和 Pytorch Lightning 等库的回调（Callback）系统，以提供用户友好且高层级的 API。FasterAI 的主要优势在于其轻量却强大、使用简单。事实上，由于它以非常模块化的方式开发，用户可以通过使用不同参数组合创建数千个独特的实验。在本文中，我们聚焦于 FasterAI 的稀疏化能力，这构成了该库的核心。在 FasterAI 中对神经网络执行稀疏化仅需在传统训练循环中增加一行代码，却能够执行诸如彩票假设（Lottery Ticket Hypothesis）实验等 SOTA 技术。
引用
@article{arxiv.2207.01088,
title = {FasterAI: A Lightweight Library for Creating Sparse Neural Networks},
author = {Nathan Hubens},
journal= {arXiv preprint arXiv:2207.01088},
year = {2022}
}