$\alpha$DARTS再探：通过掩码图像建模增强可微架构搜索
计算机视觉与模式识别
2022-11-21 v1
摘要
可微架构搜索(DARTS)已成为自动机器学习的主流方向。自发现原始DARTS不可避免地收敛到较差架构以来，近期工作通过设计基于规则的架构选择技术或引入复杂正则化技术来缓解该问题，放弃了原始DARTS基于最大参数值（即）选择架构的简洁性。此外，我们发现以往所有尝试仅依赖分类标签，因此只学习了单模态信息，限制了共享网络的表征能力。为此，我们提出通过构建块恢复方法额外注入语义信息。具体而言，我们利用近期流行的掩码图像建模，且在搜索阶段不放弃来自下游任务的指导。我们的方法超越了以往所有DARTS变体，并在CIFAR-10、CIFAR-100和ImageNet上无需复杂人工设计策略即取得最先进结果。
引用
@article{arxiv.2211.10105,
title = {$\alpha$ DARTS Once More: Enhancing Differentiable Architecture Search by Masked Image Modeling},
author = {Bicheng Guo and Shuxuan Guo and Miaojing Shi and Peng Chen and Shibo He and Jiming Chen and Kaicheng Yu},
journal= {arXiv preprint arXiv:2211.10105},
year = {2022}
}