通过神经架构变换器实现精确紧凑架构
计算机视觉与模式识别
2021-02-23 v1
摘要
设计有效架构是深度神经网络成功的关键因素之一。现有深度架构或由人工设计，或通过某些神经架构搜索（NAS）方法自动搜索。然而，即便设计/搜索良好的架构仍可能包含许多不显著或冗余的模块/操作。因此，有必要在不引入额外计算成本的前提下优化架构内部的操作以提升性能。为此，我们提出了神经架构变换器（NAT）方法，将优化问题转化为马尔可夫决策过程（MDP）并寻求以更高效操作（如跳跃或空连接）替换冗余操作。需注意 NAT 仅考虑少量可能的转移，因而具有有限的搜索/转移空间。该小搜索空间可能妨碍架构优化的性能。为解决此问题，我们提出神经架构变换器++（NAT++）方法，进一步扩充候选转移集合以提升架构优化性能。具体地，我们给出两级转移规则以获得有效转移，即允许操作具有更高效类型（如卷积->可分离卷积）或更小的核尺寸（如 5x5->3x3）。不同操作可能具有不同有效转移。我们进一步提出二值掩码 Softmax（BMSoftmax）层以忽略可能的无效转移。在多个基准数据集上的大量实验表明，变换后的架构显著优于其原始对应架构及现有方法优化的架构。
引用
@article{arxiv.2102.10301,
title = {Towards Accurate and Compact Architectures via Neural Architecture Transformer},
author = {Yong Guo and Yin Zheng and Mingkui Tan and Qi Chen and Zhipeng Li and Jian Chen and Peilin Zhao and Junzhou Huang},
journal= {arXiv preprint arXiv:2102.10301},
year = {2021}
}
备注
Extension of NAT