利用元学习热启动DARTS
机器学习
2022-05-16 v1
摘要
神经架构搜索（NAS）在自动化机器学习（AutoML）领域展现出巨大前景。NAS已超越人工设计的网络，在自动化深度神经网络设计方面迈出重要一步，从而进一步降低了对人类专家知识的需求。然而，多数研究针对单一特定任务，对跨多任务的NAS方法研究多被忽视。通常，为某新任务寻找架构有两种流行方式：要么从零搜索（其设计本身效率低下），要么迁移其他任务发现的架构（无性能保证且可能非最优）。本工作中，我们提出一种元学习框架以热启动可微分架构搜索（DARTS）。DARTS是一种可用迁移架构初始化并能快速适应新任务的NAS方法。我们使用任务相似度度量来确定选择何种迁移架构，因为在相似任务上发现的迁移架构可能表现更好。此外，我们采用了一个在多个任务上学习得到的简单元迁移架构。实验表明，热启动的DARTS能够找到具竞争力的架构，同时将搜索成本平均降低60%。
引用
@article{arxiv.2205.06355,
title = {Warm-starting DARTS using meta-learning},
author = {Matej Grobelnik and Joaquin Vanschoren},
journal= {arXiv preprint arXiv:2205.06355},
year = {2022}
}