EUGens：高效、统一且通用的稠密层
计算机视觉与模式识别
2026-02-09 v2 人工智能
机器学习
摘要
高效神经网络对于将机器学习模型扩展到实时应用和资源受限环境至关重要。全连接前馈层（FFL）在神经网络架构中引入了计算和参数数量的瓶颈。为了应对这一挑战，在这项工作中，我们提出了一类新的稠密层，它推广了标准的全连接前馈层，即高效、统一且通用的稠密层（EUGens）。EUGens利用随机特征来近似标准FFL，并通过在其计算中纳入对输入范数的直接依赖来超越它们。所提出的层统一了现有的高效FFL扩展，并通过将推理复杂度从二次时间降低到线性时间来提升效率。它们还导致了**首个**近似具有任意多项式激活函数的FFL的无偏算法。此外，EUGens在保持FFL的表达能力和适应性的同时，减少了参数数量和计算开销。我们还提出了一种绕过反向传播的逐层知识迁移技术，使得EUGens能够高效地适应预训练模型。实验上，我们观察到将EUGens集成到Transformer和MLP中，在包括图像分类、语言模型预训练和3D场景重建等一系列任务中，推理速度（高达**27%**）和内存效率（高达**30%**）均有显著提升。总体而言，我们的结果凸显了EUGens在现实场景中大规模部署神经网络的潜力。
引用
@article{arxiv.2410.09771,
title = {EUGens: Efficient, Unified, and General Dense Layers},
author = {Sang Min Kim and Byeongchan Kim and Arijit Sehanobish and Somnath Basu Roy Chowdhury and Rahul Kidambi and Dongseok Shim and Avinava Dubey and Snigdha Chaturvedi and Min-hwan Oh and Krzysztof Choromanski},
journal= {arXiv preprint arXiv:2410.09771},
year = {2026}
}
备注
Neurips 2025