面向元学习的快速模型架构自适应
机器学习
2021-09-13 v1
摘要
网络架构搜索（NAS）方法近来备受关注。与传统手工调参相比，它们能以更短的搜索时间设计出性能更优的网络。尽管 NAS 算法在模型部署方面效率很高，但大多数算法仅针对固定硬件系统上的单一任务。然而，现实中的小样本学习环境通常涵盖大量任务（T）并部署于多种多样的硬件平台（H）。若简单地将现有 NAS 方法应用于这些场景，T 乘以 H 的组合搜索复杂度会带来根本性的搜索效率挑战。为克服这一问题，我们首次展示了如何通过将模型无关元学习（MAML）融入 NAS 流程，在多任务多硬件小样本学习设置中快速将模型架构适配到新任务。所提出的 NAS 方法（H-Meta-NAS）具有硬件感知能力，并在 MAML 框架下进行优化。在多种硬件平台和约束条件下的流行小样本学习基准测试中，H-Meta-NAS 相较于多种 NAS 和手工基线展现出帕累托优势。特别是在 5-way 1-shot Mini-ImageNet 分类任务上，该方法以 60% 更少的计算量，在准确率上大幅超越最佳手工基线（高出 5.21%）。
引用
@article{arxiv.2109.04925,
title = {Rapid Model Architecture Adaption for Meta-Learning},
author = {Yiren Zhao and Xitong Gao and Ilia Shumailov and Nicolo Fusi and Robert Mullins},
journal= {arXiv preprint arXiv:2109.04925},
year = {2021}
}