SiamNAS：用于多目标神经架构搜索中支配关系预测的 Siamese 代理模型

现代神经架构搜索（NAS）本质上是多目标的，需要在准确率、参数量和计算成本等权衡之间取得平衡。这种复杂性使得 NAS 计算成本高昂，若无高效的近似方法则几乎无法求解。为解决这一问题，我们提出了一种新颖的代理建模方法，利用 Siamese 网络块的集成来预测候选架构之间的支配关系。该代理模型轻量且易于训练，达到了 92% 的准确率，并用基于模型大小的启发式规则替代了生存者选择策略中的拥挤度计算。该方法被集成到名为 SiamNAS 的框架中，消除了搜索过程中昂贵的评估操作。在 NAS-Bench-201 上的实验表明，该框架能够以显著降低的计算成本识别 Pareto 最优解。所提出的 SiamNAS 在 0.01 GPU 天内确定了最终的非支配集，其中包含 NAS-Bench-201 上 CIFAR-10 测试错误率最优的架构以及 ImageNet 上第二优的架构。这项概念验证研究突出了所提出的 Siamese 网络代理模型在泛化至多任务优化的潜力，可实现跨任务的同步优化。此外，它还为扩展该方法以生成 Pareto 集合集（SOS）提供了机会，为异构任务设置提供多样化的 Pareto 最优解。