基于元对比学习的任务自适应神经网络搜索
机器学习
2021-10-29 v2
摘要
大多数传统的神经架构搜索（NAS）方法的局限在于仅生成架构而不搜索最优参数。尽管一些 NAS 方法通过利用在 ImageNet 等大规模数据集上训练的超级网络来解决此问题，但如果目标任务与该超级网络所训练的数据集高度不相似，它们可能并非最优。为解决此类局限，我们引入了一个新颖的问题，即\emph{神经网络搜索}（NNS），其目标是从模型库中为新数据集与约束（如参数数量）搜索最优预训练网络。随后，我们提出了一个解决该问题的新框架，称为\emph{任务自适应神经网络搜索}（TANS）。给定一个由在多样化数据集上预训练的网络组成的模型库，我们使用一种新颖的摊销元学习框架，以对比损失学习跨模态潜在空间，以最大化数据集与其上高性能网络之间的相似性，并最小化不相关数据-网络对之间的相似性。我们在十个真实世界数据集上针对现有 NAS/AutoML 基线验证了方法的有效性与效率。结果表明，我们的方法能即时检索出优于基线所得模型的网络，且以显著更少的训练步数达到目标性能，从而最小化获取任务最优网络的总成本。我们的代码与模型库可在 https://github.com/wyjeong/TANS 获取。
引用
@article{arxiv.2103.01495,
title = {Task-Adaptive Neural Network Search with Meta-Contrastive Learning},
author = {Wonyong Jeong and Hayeon Lee and Gun Park and Eunyoung Hyung and Jinheon Baek and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2103.01495},
year = {2021}
}
备注
NeurIPS 2021 (Spotlight)