神经架构搜索中权重共享的深入洞察
机器学习
2020-01-07 v1 计算机视觉与模式识别
机器学习
摘要
随着深度神经网络的成功，作为自动模型设计方法的神经架构搜索（NAS）引起了广泛关注。由于从头训练每个子模型非常耗时，近期工作利用权重共享来加速模型评估过程。这些方法通过在超网络上维护权重的单一副本并在每个子模型间共享权重，极大地减少了计算量。然而，权重共享没有理论保证，且其影响此前未被充分研究。在本文中，我们进行了综合实验以揭示权重共享的影响：（1）来自不同运行甚至同一运行中连续轮次的最佳性能模型具有显著方差；（2）即使存在高方差，我们仍可从以共享权重训练超网络中提取有价值的信息；（3）子模型之间的干扰是引发高方差的主要因素；（4）适当降低权重共享程度可有效减少方差并提升性能。
引用
@article{arxiv.2001.01431,
title = {Deeper Insights into Weight Sharing in Neural Architecture Search},
author = {Yuge Zhang and Zejun Lin and Junyang Jiang and Quanlu Zhang and Yujing Wang and Hui Xue and Chen Zhang and Yaming Yang},
journal= {arXiv preprint arXiv:2001.01431},
year = {2020}
}