面向图像识别的无激活主干网络：MetaFormer 风格视觉模型中的多项式替代方案
计算机视觉与模式识别
2026-05-21 v1 机器学习
摘要
现代视觉主干网络将点状激活（如 ReLU、GELU）和指数 Softmax 视为非线性的 essential source，但我们展示它们在 MetaFormer 风格的视觉主干网络中并非必需。我们设计了针对三个核心原语（MLP、卷积和注意力）的无激活多项式替代方案，其中哈达德积替换标准非线性，生成输入的多项式函数。这些模块可无缝集成到现有架构中：在 MetaFormer 框架中实现，我们的 PolyNeXt 模型在 ImageNet 分类、ADE20K 语义分割和分布外鲁棒性方面，在各种模型规模上与激活式对手相当或更好。我们也在降低计算成本方面显著优于先前的多项式网络，表明多项式变体的标准模块战胜了复杂的定制体系结构。
引用
@article{arxiv.2605.20839,
title = {Activation-Free Backbones for Image Recognition: Polynomial Alternatives within MetaFormer-Style Vision Models},
author = {Jeffrey Wang and Jonathan Gregory and Grigorios G. Chrysos},
journal= {arXiv preprint arXiv:2605.20839},
year = {2026}
}
备注
Accepted to ICML 2026