无验证集的DARTS：优化边际似然
机器学习
2021-12-28 v1 人工智能
摘要
神经架构搜索(NAS)的成功历来受限于过高的计算需求。尽管诸如DARTS等现代权重共享NAS方法能在个位数GPU天内完成搜索，但从共享权重中提取最终最佳架构却 notoriously 不可靠。训练速度估计(TSE)是最近开发的具有贝叶斯边际似然解释的泛化估计器，此前已替代验证损失用于DARTS中基于梯度的优化。这防止了DARTS跳过连接崩溃，显著提升了在NASBench-201和原始DARTS搜索空间上的性能。我们扩展这些结果，应用多种DARTS诊断工具，并展示了因不使用验证集而产生的若干异常行为。此外，我们的实验给出了具体实例：尽管与操作选择相比文献中普遍关注有限，DARTS中的深度鸿沟与拓扑选择对搜索性能具有强烈负面影响。
引用
@article{arxiv.2112.13023,
title = {DARTS without a Validation Set: Optimizing the Marginal Likelihood},
author = {Miroslav Fil and Binxin Ru and Clare Lyle and Yarin Gal},
journal= {arXiv preprint arXiv:2112.13023},
year = {2021}
}
备注
Presented at the 5th Workshop on Meta-Learning at NeurIPS 2021