DAS：基于区分激活分数的神经架构搜索
机器学习
2022-12-26 v1
摘要
神经架构搜索（NAS）是一种可针对特定任务搜索高性能架构的自动化技术。尽管 NAS 在许多领域超越人工设计架构，但其架构评估所需的高计算成本阻碍了发展。一种可行方案是在架构初始阶段不经任何训练直接评估某些指标。无训练 NAS（WOT）分数即此类指标，其通过激活层区分不同输入的能力估计架构的最终训练精度。然而，WOT 分数并非原子指标，即不代表架构的基本指示量。本文贡献有三：首先，我们将 WOT 解耦为表示网络区分能力与激活单元数量的两个原子指标，并探索更优组合规则，称为区分激活分数（DAS）。我们从理论上证明解耦的正确性，并通过实验验证规则有效性。其次，为提升 DAS 预测精度以满足实际搜索需求，我们提出快速训练策略；DAS 与快速训练策略结合可带来更多提升。第三，我们提出称为 Darts-training-bench（DTB）的数据集，填补了现有数据集缺乏架构训练状态的空白。所提方法在 NAS-Bench-101、Network Design Spaces 与所提 DTB 上取得 1.04×–1.56× 的提升。
引用
@article{arxiv.2212.12132,
title = {DAS: Neural Architecture Search via Distinguishing Activation Score},
author = {Yuqiao Liu and Haipeng Li and Yanan Sun and Shuaicheng Liu},
journal= {arXiv preprint arXiv:2212.12132},
year = {2022}
}