NAR-Former V2：重新思考 Transformer 用于通用神经网络表示学习

随着越来越多深度学习模型应用于实际场景，对神经网络自身进行建模与表示学习的需求日益增长。高效的表示可用于预测网络的目标属性，而无需实际训练与部署流程，从而便利网络的高效部署与设计。近来，受 Transformer 成功启发，一些基于 Transformer 的表示学习框架被提出，并在处理单元结构化（cell-structured）模型上取得可喜性能。然而，基于图神经网络（GNN）的方法仍主导整个网络表示学习领域。本文中，我们重审 Transformer 并与 GNN 比较以分析其不同架构特性。随后提出一种改进的基于 Transformer 的通用神经网络表示学习模型 NAR-Former V2。它可从单元结构化网络与整个网络中学习高效表示。具体而言，我们首先将网络视为图并设计直接的分词器（tokenizer）将网络编码为序列。接着，我们将 GNN 的归纳式表示学习能力融入 Transformer，使 Transformer 在遇见未见架构时泛化更好。此外，我们引入一系列简单而有效的改动，以增强 Transformer 从图结构学习表示的能力。我们提出的方法在 NNLQP 数据集的延迟估计上大幅超越基于 GNN 的方法 NNLP。此外，在 NASBench101 与 NASBench201 数据集的精度预测上，我们的方法取得了与其他最先进方法高度可比的性能。