Arch-VQ：基于自回归先验的离散架构表示学习
机器学习
2026-03-19 v2
摘要
现有的神经架构表示学习方法聚焦于连续表示学习，通常使用变分自编码器（VAE）将离散架构映射到连续高斯分布上。然而，从这些空间中采样常常导致大量无效或重复的神经架构，这很可能源于将本质上离散的架构空间不自然地映射到连续空间。本文从根本的离散视角重新审视架构表示学习。我们提出 Arch-VQ，一个利用向量量化变分自编码器（VQ-VAE）学习神经架构离散潜在空间、并以自回归 Transformer 建模潜在先验的框架。该公式化方法能够生成与底层搜索空间更契合的离散架构表示，同时将表示学习与先验建模解耦。在 NASBench-101、NASBench-201 和 DARTS 搜索空间上的实验表明，Arch-VQ 提升了生成架构的质量，相较于当前最优基线，有效且唯一架构的生成率分别提高了 22%、26% 和 135%。我们进一步证明，对离散嵌入进行自回归建模能够提升下游神经预测器的性能，确立了该离散公式化方法的实际效用。
引用
@article{arxiv.2503.22063,
title = {Arch-VQ: Discrete Architecture Representation Learning with Autoregressive Priors},
author = {Deshani Geethika Poddenige and Sachith Seneviratne and Asela Hevapathige and Damith Senanayake and Mahesan Niranjan and PN Suganthan and Saman Halgamuge},
journal= {arXiv preprint arXiv:2503.22063},
year = {2026}
}