Siamese-NAS：利用先验知识以高效训练样本搜寻轻量神经架构
计算机视觉与模式识别
2022-10-04 v1 机器学习
摘要
在过去十年中，许多卷积神经网络架构由人工设计，如 Vgg16、ResNet、DenseNet 等。它们在各自时代的不同任务上均达到了最先进（SOTA）水平。然而，这仍依赖人类直觉与经验，且试错耗时巨大。神经架构搜索（NAS）聚焦于该问题。在近期工作中，神经预测器以极少训练架构作为训练样本取得了显著改进。然而，其采样效率已相当可观。本文中，我们提出的 Siamese-Predictor 受基于预测器的 NAS 先前工作启发，由所提估计码（Estimation Code）构建，该码是关于训练过程的先验知识。所提 Siamese-Predictor 由此思想获益显著，使其在 NASBench-201 上超越当前 SOTA 预测器。为探究估计码的影响，我们分析了其与准确率的关系。我们还提出了轻量 CNN 架构的搜索空间 Tiny-NanoBench，该精心设计的搜索空间比 NASBench-201 更易以极少 FLOPs 找到更优架构。总之，所提 Siamese-Predictor 是一种基于预测器的 NAS，尤其在有限计算预算下达到 SOTA 水平；将其应用于所提 Tiny-NanoBench 仅需少量训练样本即可找到极轻量 CNN 架构。
引用
@article{arxiv.2210.00546,
title = {Siamese-NAS: Using Trained Samples Efficiently to Find Lightweight Neural Architecture by Prior Knowledge},
author = {Yu-Ming Zhang and Jun-Wei Hsieh and Chun-Chieh Lee and Kuo-Chin Fan},
journal= {arXiv preprint arXiv:2210.00546},
year = {2022}
}