CP-NAS：面向二值神经网络的子父神经架构搜索
计算机视觉与模式识别
2020-05-19 v2
摘要
神经架构搜索（NAS）通过生成自适应应用的神经架构，被证明是许多任务的最佳方法之一，但仍受高计算成本与内存消耗的挑战。同时，具有二值化权重和激活的 1-bit 卷积神经网络（CNNs）在资源受限的嵌入式设备上展现出潜力。一种自然的方法是在统一框架中利用各自优势，使用 1-bit CNNs 降低 NAS 的计算与内存成本。为此，我们将子父（CP）模型引入可微 NAS，以在全精度模型（父）监督下搜索二值化架构（子）。在搜索阶段，子父模型使用由子模型和父模型精度生成的指标来评估性能并舍弃潜力较低的操作。在训练阶段，引入核级 CP 损失来优化二值化网络。大量实验表明，所提出的 CP-NAS 在 CIFAR 和 ImageNet 数据库上均取得了与传统 NAS 相当的精度。其在 CIFAR-10 上达到 的精度，在 ImageNet 上以二值化权重和激活达到 的精度，且搜索比先前方法快 。
引用
@article{arxiv.2005.00057,
title = {CP-NAS: Child-Parent Neural Architecture Search for Binary Neural Networks},
author = {Li'an Zhuo and Baochang Zhang and Hanlin Chen and Linlin Yang and Chen Chen and Yanjun Zhu and David Doermann},
journal= {arXiv preprint arXiv:2005.00057},
year = {2020}
}
备注
7 pages, 6 figures