NAS-LID：基于局部本征维的高效神经架构搜索
计算机视觉与模式识别
2022-11-28 v2 人工智能
机器学习
摘要
一次性神经架构搜索（NAS）通过训练一个超网来估计每个可能子架构（即子网）的性能，大幅提升了搜索效率。然而，子网间特性的不一致性导致优化中的严重干扰，造成子网性能排序相关性差。后续研究通过特定准则（如梯度匹配）分解超网权重以减少干扰；但它们面临巨大计算开销与低空间可分性。本工作中，我们提出一种轻量且有效的基于局部本征维（LID）的方法 NAS-LID。NAS-LID 通过逐层计算低开销的 LID 特征来评估架构的几何性质，且由 LID 刻画的相似性相比梯度具有更好的可分性，从而有效减少子网间干扰。在 NASBench-201 上的大量实验表明，NAS-LID 以更优效率取得卓越性能。具体而言，与梯度驱动方法相比，NAS-LID 在 NASBench-201 上搜索时可节省多达 86% 的 GPU 内存开销。我们还在 ProxylessNAS 与 OFA 空间上展示了 NAS-LID 的有效性。源代码：https://github.com/marsggbo/NAS-LID。
关键词
引用
@article{arxiv.2211.12759,
title = {NAS-LID: Efficient Neural Architecture Search with Local Intrinsic Dimension},
author = {Xin He and Jiangchao Yao and Yuxin Wang and Zhenheng Tang and Ka Chu Cheung and Simon See and Bo Han and Xiaowen Chu},
journal= {arXiv preprint arXiv:2211.12759},
year = {2022}
}
备注
Accepted by AAAI2023, AutoML, NAS