BNAS-v2：内存高效且防止性能崩溃的广度神经架构搜索
计算机视觉与模式识别
2021-01-26 v4 机器学习
摘要
在本文中，我们提出 BNAS-v2 以进一步提升 NAS 的效率，同时体现 BCNN 的两方面优势。为缓解 BNAS 的不公平训练问题，我们采用连续松弛策略，使 BCNN 中单元(cell)的每条边都与所有候选操作相关，以构建过参数化 BCNN。此外，连续松弛策略将候选操作的选择松弛为对所有预定义操作的 softmax。因此，BNAS-v2 采用基于梯度的优化算法同时更新过参数化 BCNN 的每条可能路径，而非像 BNAS 那样仅更新单一采样路径。然而，连续松弛导致了另一个称为性能崩溃的问题，其中那些无权重操作易被搜索策略选中。针对这一衍生问题，给出两种解决方案：1) 我们提出置信学习率 (Confident Learning Rate, CLR)，其考虑架构权重更新的梯度置信度，并随过参数化 BCNN 训练时间增加而增大；2) 我们引入部分通道连接与边归一化的组合，其亦可进一步提升内存效率。此外，我们将可微 BNAS（即带连续松弛的 BNAS）记为 BNAS-D，带 CLR 的 BNAS-D 记为 BNAS-v2-CLR，部分连接的 BNAS-D 记为 BNAS-v2-PC。在 CIFAR-10 与 ImageNet 上的实验结果表明：1) BNAS-v2 在 CIFAR-10（0.05 GPU 天，比 BNAS 快 4 倍）与 ImageNet（0.19 GPU 天）上均提供了 SOTA 的搜索效率；2) 所提出的 CLR 在 BNAS-D 与 vanilla 可微 NAS 框架中均能有效地缓解性能崩溃问题。
引用
@article{arxiv.2009.08886,
title = {BNAS-v2: Memory-efficient and Performance-collapse-prevented Broad Neural Architecture Search},
author = {Zixiang Ding and Yaran Chen and Nannan Li and Dongbin Zhao},
journal= {arXiv preprint arXiv:2009.08886},
year = {2021}
}
备注
12 pages, 11 figures, 3 tables