基于元学习对网络架构进行排序
机器学习
2019-11-27 v1 机器学习
摘要
神经架构搜索近来吸引了大量研究投入,因其有望自动化神经网络的手动设计。然而,它需要大量计算资源,为缓解此问题,近来提出了一种性能预测网络,通过预测候选架构的性能而非依赖实际模型训练来实现高效架构搜索。该性能预测器是任务感知的,以候选架构和任务元特征作为输入,并被设计成从多个任务中集体学习。在本工作中,我们引入一种成对排序损失,用于训练一个能够根据新未知任务的任务元特征对其候选架构进行排序的网络。我们给出了实验结果,表明该排序网络在架构搜索中比此前提出的性能预测器更有效。
引用
@article{arxiv.1911.11481,
title = {Ranking architectures using meta-learning},
author = {Alina Dubatovka and Efi Kokiopoulou and Luciano Sbaiz and Andrea Gesmundo and Gabor Bartok and Jesse Berent},
journal= {arXiv preprint arXiv:1911.11481},
year = {2019}
}
备注
NeurIPS 2019 Meta-Learning workshop