GENNAPE：面向泛化神经架构性能估计器
机器学习
2023-07-06 v2 计算机视觉与模式识别
摘要
预测神经架构性能是一项具有挑战性的任务，并且对神经架构设计与搜索至关重要。现有方法要么依赖神经性能预测器，其局限于对预定义设计空间内涉及特定算子与连接规则的架构进行建模，无法泛化至未见架构；要么借助零成本代理，其并非总是准确。本文中，我们提出 GENNAPE，一种泛化神经架构性能估计器，其在公开神经架构基准上预训练，旨在通过网络表示、对比预训练以及基于模糊聚类的预测器集成的组合创新来泛化至完全未见的架构。具体而言，GENNAPE 将给定神经网络表示为原子操作的计算图 (CG)，可对任意架构建模。它首先通过对比学习学习图编码器以按拓扑特征鼓励网络分离，然后训练多个预测头，并根据神经网络的模糊隶属度进行软聚合。实验表明，在 NAS-Bench-101 上预训练的 GENNAPE 可在无需或仅需极少微调的情况下，对包括 NAS-Bench-201、NAS-Bench-301、MobileNet 和 ResNet 系列在内的 5 个不同公开神经网络基准实现优越的可迁移性。我们进一步引入 3 个具有挑战性的新标注神经网络基准：HiAML、Inception 和 Two-Path，其可集中于狭窄准确率范围。大量实验表明，GENNAPE 能正确辨识这些系列中的高性能架构。最后，当与搜索算法配对时，GENNAPE 可在三个系列上找到在提升准确率的同时降低 FLOPs 的架构。
引用
@article{arxiv.2211.17226,
title = {GENNAPE: Towards Generalized Neural Architecture Performance Estimators},
author = {Keith G. Mills and Fred X. Han and Jialin Zhang and Fabian Chudak and Ali Safari Mamaghani and Mohammad Salameh and Wei Lu and Shangling Jui and Di Niu},
journal= {arXiv preprint arXiv:2211.17226},
year = {2023}
}
备注
AAAI 2023 Oral Presentation; includes supplementary materials with more details on introduced benchmarks; 14 Pages, 6 Figures, 10 Tables