FNAS：基于不确定性感知的快速神经架构搜索
机器学习
2021-05-28 v3 人工智能
计算机视觉与模式识别
摘要
基于强化学习（RL）的神经架构搜索（NAS）通常能保证更好的收敛性，但由于展开瓶颈——在代理任务上对每代采样架构进行穷举训练——相较于基于梯度的方法需要庞大的计算资源。本文提出一种通用流水线，以加速 NAS 中展开过程及 RL 过程的收敛。其动机源于一个有趣观察：架构知识与参数知识均可在不同实验乃至不同任务间迁移。我们首先在近端策略优化（PPO）中引入不确定性感知的评判器（价值函数），以利用先前实验中的架构知识，从而稳定训练过程并将搜索时间缩短 4 倍。进一步，提出一个架构知识池及块相似度函数，以利用参数知识并将搜索时间再缩短 2 倍。这是首次在基于 RL 的 NAS 中引入块级权重共享。块相似度函数在严格公平性下保证 100% 命中率。此外，我们表明 RL 优化中“经验回放缓冲区”所用的一个简单设计的离策略修正因子可进一步减半搜索时间。在移动端神经架构搜索（MNAS）搜索空间上的实验表明，所提出的快速神经架构搜索（FNAS）将标准基于 RL 的 NAS 过程加速约 10 倍（例如 MNAS 从约 256 个 2x2 TPUv2 x 天 / 20,000 GPU x 小时降至 2,000 GPU x 小时），并在多种视觉任务上保证更优性能。
引用
@article{arxiv.2105.11694,
title = {FNAS: Uncertainty-Aware Fast Neural Architecture Search},
author = {Jihao Liu and Ming Zhang and Yangting Sun and Boxiao Liu and Guanglu Song and Yu Liu and Hongsheng Li},
journal= {arXiv preprint arXiv:2105.11694},
year = {2021}
}