SemifreddoNets:用于高效计算机视觉系统的部分冻结神经网络
计算机视觉与模式识别
2020-06-15 v1 机器学习
摘要
我们提出了一种由拓扑固定、权重部分冻结的神经网络组成的系统,称为 SemifreddoNets。SemifreddoNets 作为全流水线的硬件模块工作,经过优化以获得高效的硬件实现。这些模块在每一层冻结一部分参数,并将相应的乘法器替换为固定缩放器。固定权重减少了硅面积、逻辑延迟和存储需求,从而显著节省成本与功耗。不同于传统的逐层冻结方法,SemifreddoNets 通过在模型中以不同尺度与抽象层级使部分权重可配置,在成本与灵活性之间做出有利权衡。尽管固定拓扑与部分权重在一定程度上限制了灵活性,我们认为对于许多用例,该策略的效率收益超过了全可配置模型的优势。此外,我们的系统使用可重复模块,因此无需任何硬件改动即可灵活调整模型复杂度。与在通用加速器上的等价实现相比,SemifreddoNets 的硬件实现在硅面积与功耗上最多减少一个数量级。
引用
@article{arxiv.2006.06888,
title = {SemifreddoNets: Partially Frozen Neural Networks for Efficient Computer Vision Systems},
author = {Leo F Isikdogan and Bhavin V Nayak and Chyuan-Tyng Wu and Joao Peralta Moreira and Sushma Rao and Gilad Michael},
journal= {arXiv preprint arXiv:2006.06888},
year = {2020}
}