RepNAS：搜索高效的重参数化模块
机器学习
2022-06-16 v4 神经与进化计算
摘要
近年来，神经架构搜索（NAS）领域取得了显著进展。然而，由于搜索约束与真实推理时间之间存在差距，搜索高效网络仍具挑战性。为搜索低推理时间的高性能网络，先前若干工作为搜索算法设定了计算复杂度约束。但影响推理速度的因素众多（如 FLOPs、MACs），单一指标与延迟的相关性并不强。当前，一些重参数化（Rep）技术被提出，用于将多分支转换为对推理友好的单路径架构。然而，多分支架构仍由人工定义且效率低下。本工作中，我们提出了一种适用于结构重参数化技术的搜索空间。提出了一阶段 NAS 方法 RepNAS，在分支数约束下为每一层高效搜索最优多样分支块（ODBB）。实验结果表明，搜索得到的 ODBB 可轻松超越人工多样分支块（DBB），且训练高效。
引用
@article{arxiv.2109.03508,
title = {RepNAS: Searching for Efficient Re-parameterizing Blocks},
author = {Mingyang Zhang and Xinyi Yu and Jingtao Rong and Linlin Ou},
journal= {arXiv preprint arXiv:2109.03508},
year = {2022}
}