MOGNET：一种利用在线生成权重的_mux-残差量化网络
机器学习
2025-01-17 v1 硬件体系结构
摘要
本文提出了一种名为 MOGNET 的紧凑模型架构，适用于资源受限的硬件。MOGNET 使用基于 2 个点状（1x1）卷积与其之间插入的分组卷积的组合的简化卷积分解块。为进一步限制整体模型大小并减少芯片内所需内存，第二个点状卷积的参数通过细胞自动机结构在线生成。此外，MOGNET 利用多路复用器机制和适当的位移缩放，集成残差路径，同时不增加硬件相关复杂度，从而支持低精度权重和激活。为高效训练此模型，我们还引入了一种新颖的权重三值化方法，以实现量化水平之间的平衡。实验结果表明，在极小的内存预算（低于 2MB）下，MOGNET 能实现更高的准确率，与最新方法相比，在相同或更小的模型大小上实现显著的 1% 准确率提升。
引用
@article{arxiv.2501.09531,
title = {MOGNET: A Mux-residual quantized Network leveraging Online-Generated weights},
author = {Van Thien Nguyen and William Guicquero and Gilles Sicard},
journal= {arXiv preprint arXiv:2501.09531},
year = {2025}
}
备注
Published at IEEE AICAS 2022