CR-LSO：利用输入凸神经网络在图变分自编码器潜空间中进行凸神经架构优化
机器学习
2025-04-28 v2 人工智能
摘要
在基于潜空间优化（LSO）的神经架构搜索（NAS）方法中，训练深度生成模型将离散神经架构嵌入连续潜空间。此时可实现在连续空间中运行的不同优化算法来搜索神经架构。然而，对于基于梯度的 LSO，潜变量优化具有挑战性，因为从潜空间到架构性能的映射通常是非凸的。为解决该问题，本文提出一种凸性正则化潜空间优化（CR-LSO）方法，旨在正则化潜空间的学习过程以获得凸的架构性能映射。具体而言，CR-LSO 训练图变分自编码器（G-VAE）学习离散架构的连续表示。同时，潜空间的学习过程通过输入凸神经网络（ICNNs）的保证凸性进行正则化。以此方式，G-VAE 被迫学习从架构表示到架构性能的凸映射。此后，CR-LSO 利用 ICNN 逼近性能映射并借助估计梯度优化神经架构表示。在三个流行 NAS 基准上的实验结果表明，CR-LSO 在计算复杂度和架构性能方面均取得了具竞争力的评估结果。
引用
@article{arxiv.2211.05950,
title = {CR-LSO: Convex Neural Architecture Optimization in the Latent Space of Graph Variational Autoencoder with Input Convex Neural Networks},
author = {Xuan Rao and Bo Zhao and Derong Liu},
journal= {arXiv preprint arXiv:2211.05950},
year = {2025}
}