RATs-NAS：基于GCN的相邻轨迹重定向用于神经架构搜索
计算机视觉与模式识别
2023-05-10 v2 人工智能
摘要
已开发出多种手工设计的CNN架构，如VGG、ResNet、DenseNet等，并在不同任务上达到最先进（SoTA）水平。神经架构搜索（NAS）现聚焦于自动寻找最佳CNN架构以处理上述任务。然而，验证搜索所得架构非常耗时，使得基于预测器的方法成为NAS重要且关键的支脉。构建预测器的两种常用技术是图卷积网络（GCN）和多层感知机（MLP）。本文中，我们考虑GCN与MLP在相邻操作轨迹上的差异，进而提出重定向相邻轨迹NAS（RATs-NAS）以快速搜索所需神经网络架构。RATs-NAS由两部分组成：重定向相邻轨迹GCN（RATs-GCN）与基于预测器的搜索空间采样（P3S）模块。RATs-GCN可改变轨迹及其强度以搜索更优神经网络架构。P3S能快速聚焦于搜索空间中更紧凑的FLOPs区间。基于我们对基于单元的NAS的观察，认为具有相似FLOPs的架构表现相似。最终，由RATs-GCN与P3S构成的RATs-NAS在NASBench-201的三个子数据集上大幅超越WeakNAS、Arch-Graph等。
引用
@article{arxiv.2305.04206,
title = {RATs-NAS: Redirection of Adjacent Trails on GCN for Neural Architecture Search},
author = {Yu-Ming Zhang and Jun-Wei Hsieh and Chun-Chieh Lee and Kuo-Chin Fan},
journal= {arXiv preprint arXiv:2305.04206},
year = {2023}
}