EUGens：高效、统一、通用的稠密层

高效神经网络对于将机器学习模型扩展到实时应用和资源受限环境至关重要。全连接前馈层(FFLs)在神经网络架构中引入计算和参数数量瓶颈。为此，本文提出一种新型稠密层，Generalize standard fully-connected feedforward layers, \textbf{E}fficient, \textbf{U}nified and \textbf{G}eneral dense layers (EUGens)。EUGens利用随机特征来近似标准FFLs，并通过在计算中引入对输入范数的数直接依赖性实现超越。所提出的层统一了现有的高效FFLs扩展，并通过将推理复杂度从二次降低到线性来提高效率。它们还导致\textbf{首次}对任意多项式激活函数的FFLs进行无偏近似。此外，EUGens在保持FFLs的表达力和适应性的同时，减少参数数量和计算开销。我们还提出一种层级知识迁移技术，可绕过反向传播，实现EUGens对预训练模型的高效适配。实验表明，将EUGens集成到Transformer和MLP中，可在包括图像分类、语言模型预训练和3D场景重建等多个任务上实现推理速度提升最高可达\textbf{27}\%和内存效率提升最高可达\textbf{30}\%。总体而言，我们的结果凸显了EUGens在实际场景中大规模神经网络可扩展部署的潜力。