可变形蝴蝶变换：一种高度结构化且稀疏的线性变换
计算机视觉与模式识别
2022-03-28 v1 机器学习
摘要
我们引入一种名为可变形蝴蝶变换（DeBut）的新型线性变换，它推广了传统的蝴蝶矩阵，并可适应不同的输入-输出维度。它继承了传统蝴蝶变换从细到粗的可学习层次结构，当部署到神经网络中时，DeBut层中的显著结构与稀疏性构成了网络压缩的一种新方式。我们将DeBut作为标准全连接层与卷积层的直接替代，并展示了其在同质化神经网络及赋予其轻量与低推理复杂度等优良特性方面的优越性，且不牺牲精度。DeBut层无数种变形自然产生的复杂度-精度权衡也为分析与实用研究开辟了新空间。代码与附录公开于：https://github.com/ruilin0212/DeBut。
引用
@article{arxiv.2203.13556,
title = {Deformable Butterfly: A Highly Structured and Sparse Linear Transform},
author = {Rui Lin and Jie Ran and King Hung Chiu and Graziano Chesi and Ngai Wong},
journal= {arXiv preprint arXiv:2203.13556},
year = {2022}
}