理解网络架构搜索中深度学习模型演化的模式
人工智能
2023-09-25 v1 分布式、并行与集群计算
摘要
网络架构搜索，特别是正则化进化（Regularized Evolution），是 refinement 深度学习模型结构的常用方法。然而，关于模型如何随经验演化知之甚少，这对设计缓存策略、针对特定应用改进搜索算法以及其他重要用例具有设计意义。在这项工作中，我们从算法上分析并定量刻画了来自 Candle 项目和 Nasbench-201 搜索空间的一组模型的模型演化模式。我们展示了模型结构的演化如何受到正则化进化算法的影响。我们描述了演化模式在分布式设置中的出现方式，以及缓存和改进调度的机会。最后，我们基于特定模型架构在滑动窗口中作为供体的频率，描述了影响其受欢迎程度兴衰的条件。
引用
@article{arxiv.2309.12576,
title = {Understanding Patterns of Deep Learning ModelEvolution in Network Architecture Search},
author = {Robert Underwood and Meghana Madhastha and Randal Burns and Bogdan Nicolae},
journal= {arXiv preprint arXiv:2309.12576},
year = {2023}
}
备注
11 pages, 4 figures