通用神经网络架构空间：覆盖 ConvNets、Transformer 及其间的全部内容
计算机视觉与模式识别
2025-10-08 v1
摘要
我们引入 Universal Neural Architecture Space (UniNAS)，这是一个用于神经网络搜索(NAS)的通用搜索空间，将卷积网络、Transformer 及其混合体系结构统一纳入单一灵活框架。我们的做法使我们能够发现新型架构，同时在统一框架中分析现有架构。我们还提出了一种新的搜索算法，可遍历所提议的搜索空间，并演示该空间包含的有趣架构在使用相同的训练设置下，可超过 state-of-the-art 手工构建的架构。最后，引入了一个统一工具包，包括标准化的训练和评估协议，以促进可重复性并在 NAS 研究中实现公平比较。总体而言，本工作为系统地探索神经网络架构的完整光谱，采用统一图基 NAS 视角，指明了一条道路。
引用
@article{arxiv.2510.06035,
title = {Universal Neural Architecture Space: Covering ConvNets, Transformers and Everything in Between},
author = {Ondřej Týbl and Lukáš Neumann},
journal= {arXiv preprint arXiv:2510.06035},
year = {2025}
}