神经架构迁移2：一种提升多目标神经架构搜索效率的范式
机器学习
2023-07-04 v1 人工智能
计算机视觉与模式识别
摘要
深度学习正日益影响当代社会的各个方面。人工神经网络已成为解决日益广泛任务的主导模型。神经架构搜索（NAS）技术的引入使得任务最优网络的自动设计成为可能，并带来了显著进展。然而，NAS过程通常伴随着较长的执行时间和巨大的计算资源需求。Once-For-All（OFA）及其后继者Once-For-All-2（OFAv2）已被开发以缓解这些挑战。它们在保持卓越性能且无需重新训练的同时，旨在构建单一超网络模型，能够直接提取满足不同约束的子网络。神经架构迁移（NAT）被开发以最大化从超网络中提取子网络的有效性。在本文中，我们提出NATv2，即NAT的扩展，改进了应用于动态超网络架构的多目标搜索算法。NATv2通过利用OFAv2生成的改进超网络，并引入用于初始化、预处理和更新其网络存档的新策略，在可提取子网络上实现了定性改进。此外，引入了基于微调的后处理流水线。实验结果表明，NATv2成功改进了NAT，并强烈推荐用于以最少参数量研究高性能架构。
引用
@article{arxiv.2307.00960,
title = {Neural Architecture Transfer 2: A Paradigm for Improving Efficiency in Multi-Objective Neural Architecture Search},
author = {Simone Sarti and Eugenio Lomurno and Matteo Matteucci},
journal= {arXiv preprint arXiv:2307.00960},
year = {2023}
}