G-DARTS-A：带注意力的通道分组并行采样
机器学习
2020-10-19 v1 计算机视觉与模式识别
摘要
可微架构搜索（DARTS）提供了基于梯度搜索高效网络架构的基线，但其在搜索与训练网络架构时伴随巨大的计算开销。近来，许多新颖工作对DARTS进行了改进。特别是，部分连接DARTS（PC-DARTS）提出了部分通道采样技术并取得了良好效果。在本工作中，我们发现DARTS所提供的骨干网络易于过拟合。为缓解该问题，我们提出一种名为带注意力的组DARTS（G-DARTS-A）的方法，利用多组通道进行搜索。受PC-DARTS部分采样策略启发，我们使用分组通道对超网络进行采样，以在保持网络信息相对完整的同时执行更高效的搜索。为缓解通道组间竞争并保持通道平衡，我们遵循Squeeze-and-Excitation Network中的注意力机制。每组通道共享定义的权重，从而可为搜索提供不同建议。搜索得到的架构更强大且更适应不同部署。具体而言，仅通过在DARTS上使用注意力模块，我们在CIFAR10/100上以CIFAR10上0.3 GPU天的搜索过程取得了2.82%/16.36%的错误率。将我们的G-DARTS-A应用于DARTS/PC-DARTS，在CIFAR10上以0.5/0.4 GPU天取得了2.57%/2.61%的错误率。
引用
@article{arxiv.2010.08360,
title = {G-DARTS-A: Groups of Channel Parallel Sampling with Attention},
author = {Zhaowen Wang and Wei Zhang and Zhiming Wang},
journal= {arXiv preprint arXiv:2010.08360},
year = {2020}
}