DCP-NAS：面向1-bit CNN的差异化子-父神经架构搜索
计算机视觉与模式识别
2023-06-28 v1 人工智能
摘要
神经架构搜索（NAS）因能生成自适应应用的神经架构，被证明是许多任务的有效方法之一，但仍受高计算成本与内存消耗挑战。同时，具有二值权重与激活的1-bit卷积神经网络（CNNs）展现出对资源受限嵌入式设备的潜力。一种自然方法是在统一框架中利用各自优势，以1-bit CNNs降低NAS的计算与内存开销，而由于涉及更复杂过程，搜索1-bit CNNs更具挑战性。本文引入差异化子-父神经架构搜索（DCP-NAS）以高效搜索1-bit CNNs，其基于在实值模型（父）监督下搜索1-bit模型（子）的新框架。特别地，我们首先利用父模型计算切向方向，并基于此引入切向传播方法搜索优化后的1-bit子模型。我们进一步观察到此类可微框架中权重与架构参数存在的耦合关系。为解决该问题，我们提出解耦优化方法搜索优化架构。大量实验表明，我们的DCP-NAS在CIFAR-10与ImageNet数据集上均大幅优于先前方法。尤其，DCP-NAS所得骨干网在行人重识别与目标检测上取得强泛化性能。
引用
@article{arxiv.2306.15390,
title = {DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs},
author = {Yanjing Li and Sheng Xu and Xianbin Cao and Li'an Zhuo and Baochang Zhang and Tian Wang and Guodong Guo},
journal= {arXiv preprint arXiv:2306.15390},
year = {2023}
}
备注
Accepted by International Journal of Computer Vision