深入探究可微架构搜索的性能退化
机器学习
2021-09-29 v1 人工智能
计算机视觉与模式识别
摘要
可微架构搜索（DARTS）被广泛认为容易过拟合验证集从而导致性能退化。我们首先进行一系列探索性实验，验证无论是高强度架构参数正则化还是预热训练方案都无法有效解决该问题。基于实验所得见解，我们推测DARTS的性能并不依赖于训练良好的超网权重，并主张架构参数应由训练早期而非末期的梯度进行训练。随后通过交换权重与参数的学习率方案验证了该主张。实验结果表明，简单地交换学习率即可有效解决退化问题并取得具竞争力的性能。进一步的经验证据表明，退化并非验证集过拟合这一简单问题，而是在双层优化动态中表现出退化与算子选择偏置之间的某些关联。我们展示了该偏置的普遍性，并提议利用此偏置实现基于算子幅值的选择性停止。
引用
@article{arxiv.2109.13466,
title = {Delve into the Performance Degradation of Differentiable Architecture Search},
author = {Jiuling Zhang and Zhiming Ding},
journal= {arXiv preprint arXiv:2109.13466},
year = {2021}
}
备注
Accepted as a full paper at the CIKM 2021 conference