基于定向进化策略的易部署网络高效重参数化操作搜索
人工智能
2022-07-05 v2
摘要
结构重参数化（Rep）方法在传统卷积网络上取得了显著的性能提升。当前大多数 Rep 方法依赖先验知识来选择重参数化操作。然而，架构的性能受操作类型与先验知识的限制。为打破此限制，本文设计了一个改进的重参数化搜索空间，其包含更多类型的重参数化操作。具体而言，该搜索空间可进一步提升卷积网络的性能。为有效探索此搜索空间，基于神经架构搜索（NAS）设计了一种自动重参数化增强策略，可搜索出优异的重参数化架构。此外，我们对架构的输出特征进行可视化，以分析重参数化架构形成的原因。在公开数据集上，我们取得了更好的结果。在与 ResNet 相同的训练条件下，我们在 ImageNet-1k 上将 ResNet-50 的准确率提升了 1.82%。
引用
@article{arxiv.2204.06403,
title = {Efficient Re-parameterization Operations Search for Easy-to-Deploy Network Based on Directional Evolutionary Strategy},
author = {Xinyi Yu and Xiaowei Wang and Jintao Rong and Mingyang Zhang and Linlin Ou},
journal= {arXiv preprint arXiv:2204.06403},
year = {2022}
}
备注
21pages, 8figures