BETANAS:用于神经架构搜索的平衡训练与选择性丢弃
计算机视觉与模式识别
2019-12-25 v1 机器学习
摘要
自动神经架构搜索技术在机器学习领域正变得愈发重要。尤其是,权重共享方法在以极少计算资源搜索优良网络架构方面已展现出显著潜力。然而,现有权重共享方法主要受制于搜索策略的局限:这些方法要么均匀训练所有网络路径至收敛,这引入了分支间的冲突并将大量计算浪费于无前途的候选上;要么以不同频率选择性训练分支,这导致路径间不公平的评价与比较。为应对这些问题,我们提出一种新颖的神经架构搜索方法,采用平衡训练策略以确保公平比较,并引入选择性丢弃机制以减少候选路径间的冲突。实验结果表明,我们所提方法在移动端设置下于 ImageNet 上可取得 79.0% 的领先性能,在准确率与效率上均优于其他最先进方法。
引用
@article{arxiv.1912.11191,
title = {BETANAS: BalancEd TrAining and selective drop for Neural Architecture Search},
author = {Muyuan Fang and Qiang Wang and Zhao Zhong},
journal= {arXiv preprint arXiv:1912.11191},
year = {2019}
}