DAAS：可微分架构与增强策略搜索
机器学习
2022-01-31 v2 计算机视觉与模式识别
摘要
神经架构搜索（NAS）一直是自动机器学习（Auto-ML）的活跃方向，旨在探索高效的网络结构。被搜索的架构通过在具有固定数据增强策略的数据集上训练来评估。然而，近期关于自动增强的工作表明，适合的增强策略会因不同结构而异。因此，本工作考虑神经架构与数据增强之间可能的耦合，并提出一种联合搜索二者的有效算法。具体而言，1）对于 NAS 任务，我们采用基于单路径的可微分方法以及 Gumbel-softmax 重参数化策略，因其内存高效；2）对于自动增强任务，我们引入一种基于策略梯度算法的新型搜索方法，可显著降低计算复杂度。我们的方法在 CIFAR-10 上达到 97.91% 准确率，在 ImageNet 数据集上达到 76.6% 的 Top-1 准确率，展示了我们搜索算法的卓越性能。
引用
@article{arxiv.2109.15273,
title = {DAAS: Differentiable Architecture and Augmentation Policy Search},
author = {Xiaoxing Wang and Xiangxiang Chu and Junchi Yan and Xiaokang Yang},
journal= {arXiv preprint arXiv:2109.15273},
year = {2022}
}