二值网络的架构搜索
计算机视觉与模式识别
2020-04-13 v2 机器学习
摘要
大多数二值网络的主干架构都是众所周知的浮点架构，例如 ResNet 系列。我们质疑为浮点网络设计的架构并非二值网络的最佳选择，提出通过定义二值架构的新搜索空间和新颖搜索目标来搜索二值网络架构（BNAS）。具体而言，基于基于单元的搜索方法，我们定义了二值层类型的新搜索空间，设计了新的单元模板，并重新发现了 Zeroise 层的效用且提议使用它而非将其作为占位符。新颖的搜索目标使早期搜索多样化，以学习性能更好的二值架构。我们表明，尽管二值网络存在固有的量化误差，我们提出的方法搜索出的架构具有稳定的训练曲线。定量分析表明，我们搜索的架构优于当前最优二值网络中使用的架构，并且优于或等同于采用除架构改变外各种其他技术的最先进二值网络。
引用
@article{arxiv.2002.06963,
title = {Learning Architectures for Binary Networks},
author = {Dahyun Kim and Kunal Pratap Singh and Jonghyun Choi},
journal= {arXiv preprint arXiv:2002.06963},
year = {2020}
}
备注
The manuscript was changed to a one-column format along with minor modifications to the content