BNAS v2：基于实证改进的二值网络架构搜索
计算机视觉与模式识别
2021-10-19 v1 机器学习
摘要
大多数二值网络的骨干架构是知名的浮点（FP）架构，如 ResNet 系列。我们质疑为 FP 网络设计的架构可能并非二值网络的最佳选择，因此提出通过定义二值架构的新搜索空间和新颖搜索目标来搜索二值网络的架构（BNAS）。具体而言，基于基于单元的搜索方法，我们定义了二值层类型的新搜索空间，设计了新的单元模板，并重新发现了 Zeroise 层的效用且提出使用它而非将其作为占位符。新颖的搜索目标使早期搜索多样化，以学习性能更好的二值架构。我们表明，尽管二值网络固有量化误差，我们的方法搜索出的架构具有稳定的训练曲线。定量分析表明，我们搜索的架构优于最先进二值网络中使用的架构，并且优于或与采用架构更改以外各种技术的最先进二值网络性能相当。此外，我们进一步提出了对我们搜索架构训练方案的改进。借助我们搜索架构的新训练方案，我们以显著优势超越所有先前方法，实现了二值网络的最先进性能。
引用
@article{arxiv.2110.08562,
title = {BNAS v2: Learning Architectures for Binary Networks with Empirical Improvements},
author = {Dahyun Kim and Kunal Pratap Singh and Jonghyun Choi},
journal= {arXiv preprint arXiv:2110.08562},
year = {2021}
}
备注
arXiv admin note: text overlap with arXiv:2002.06963