基于通道注意力的部分连接用于可微神经架构搜索
机器学习
2022-08-02 v1
摘要
可微神经架构搜索(DARTS)作为一种梯度引导的搜索方法，大大降低了计算成本并加快了搜索速度。在DARTS中，架构参数被引入到候选操作中，但某些带权操作参数在初始阶段可能训练不充分，导致候选操作之间的不公平竞争。无权重操作大量出现，导致性能崩溃现象。此外，训练超网时会占用大量内存，导致内存利用率低下。本文提出一种基于通道注意力的部分通道连接用于可微神经架构搜索(ADARTS)。通过注意力机制选择权重较高的部分通道送入操作空间，而其他通道直接与处理后的通道相连。选取少量具有较高注意力权重的通道，能更好地将重要特征信息传入搜索空间，并大幅提高搜索效率和内存利用率。也可避免随机选取导致的网络结构不稳定性。实验结果表明，ADARTS在CIFAR-10和CIFAR-100上分别取得了2.46%和17.06%的分类错误率。ADARTS能有效解决搜索过程中跳过连接过多的问题，并获得性能更优的网络结构。
引用
@article{arxiv.2208.00791,
title = {Partial Connection Based on Channel Attention for Differentiable Neural Architecture Search},
author = {Yu Xue and Jiafeng Qin},
journal= {arXiv preprint arXiv:2208.00791},
year = {2022}
}
备注
10 pages, 10 figures Y. Xue and J. Qin, "Partial Connection Based on Channel Attention for Differentiable Neural Architecture Search," in IEEE Transactions on Industrial Informatics, 2022, doi: 10.1109/TII.2022.3184700