用于网络宽度搜索的局部自由权值共享
计算机视觉与模式识别
2021-02-25 v2
摘要
搜索网络宽度是在硬件预算下压缩深度神经网络的有效途径。为此，通常采用一次性超网作为性能评估器，以对不同宽度的性能进行排序。然而，现有方法主要遵循人工固定的权值共享模式，难以区分不同宽度间的性能差距。本文为更好地评估各宽度，相应提出一种局部自由权值共享策略 (CafeNet)。在 CafeNet 中，权值被更自由地共享，每个宽度由其基础通道与自由通道共同指示，其中自由通道可在局部区域内自由定位以更好地表征各宽度。此外，我们提出利用所引入的 FLOPs 敏感分箱进一步缩减搜索空间。据此，我们的 CafeNet 可随机训练并在 min-min 策略下得到优化。在 ImageNet、CIFAR-10、CelebA 与 MS COCO 数据集上的大量实验验证了相较于其他 SOTA 基线的优越性。例如，我们的方法可通过更精细地搜索宽度将基准 NAS 网络 EfficientNet-B0 进一步提升 0.41%。
引用
@article{arxiv.2102.05258,
title = {Locally Free Weight Sharing for Network Width Search},
author = {Xiu Su and Shan You and Tao Huang and Fei Wang and Chen Qian and Changshui Zhang and Chang Xu},
journal= {arXiv preprint arXiv:2102.05258},
year = {2021}
}
备注
Accepted by ICLR 2021 Spotlight