用生成模型改进可微架构搜索
机器学习
2021-12-02 v1 计算机视觉与模式识别
摘要
在 DARTS 等可微神经架构搜索（NAS）算法中，用于更新模型权重的训练集与用于更新模型架构的验证集采样自同一数据分布。因此，数据集中罕见特征在训练中未获足够关注。本文不引入更复杂 NAS 算法，而是探索如下思路：向训练中添加高质量合成数据集可助分类模型识别弱点并提升识别精度。我们引入称为“带生成模型的可微架构搜索（DASGM）”的训练策略。在 DASGM 中，训练集用于更新分类模型权重，而合成数据集用于训练其架构。生成图像与训练集分布不同，可助分类模型学习更好特征以识别弱点。我们将 DASGM 公式化为多级优化框架并开发有效算法求解。在 CIFAR-10、CIFAR-100 与 ImageNet 上的实验证明了 DASGM 的有效性。代码将公开。
引用
@article{arxiv.2112.00171,
title = {Improving Differentiable Architecture Search with a Generative Model},
author = {Ruisi Zhang and Youwei Liang and Sai Ashish Somayajula and Pengtao Xie},
journal= {arXiv preprint arXiv:2112.00171},
year = {2021}
}