Lite it fly：一种全可变形蝴蝶网络
机器学习
2023-11-15 v1
摘要
大多数深度神经网络（DNNs）从根本上由卷积层和/或全连接层构成，其中线性变换可视为滤波矩阵与将数据张量按列排列得到的数据矩阵之积。近来提出的可变形蝴蝶（DeBut）将滤波矩阵分解为广义的类蝴蝶因子，从而实现了区别于传统剪枝或低秩分解的神经网络压缩。本工作揭示了 DeBut 与深度可分离及逐点卷积的系统层次结构之间的内在联系，这解释了 DeBut 层在经验上的良好表现。通过开发自动化的 DeBut 链生成器，我们首次展示了将 DNN 同质化为全 DeBut 层的可行性，从而实现极致的稀疏与压缩。多种示例与硬件基准测试验证了全 DeBut 网络的优势。特别地，我们展示可将 PointNet 压缩至参数少于 5% 且精度下降小于 5%，这是其他压缩方案无法达到的纪录。
引用
@article{arxiv.2311.08125,
title = {Lite it fly: An All-Deformable-Butterfly Network},
author = {Rui Lin and Jason Chun Lok Li and Jiajun Zhou and Binxiao Huang and Jie Ran and Ngai Wong},
journal= {arXiv preprint arXiv:2311.08125},
year = {2023}
}
备注
7 pages, 3 figures, accepted as a brief paper in IEEE Transactions on Neural Networks and Learning Systems (TNNLS)