面向监督学习与自监督学习的无代理神经架构自适应
机器学习
2022-05-17 v1 计算机视觉与模式识别
摘要
近年来，神经架构搜索（NAS）方法被提出，并在许多基准上展现出令人印象深刻的性能。在这些 NAS 研究中，Neural Architecture Transformer（NAT）旨在自适应给定神经架构以提升性能，同时保持计算成本。然而，NAT 缺乏可复现性，且需要在网络权重训练之前进行额外的架构自适应过程。本文提出可复现且高效的无代理神经架构自适应方法。我们的方法可应用于监督学习与自监督学习。所提方法在各种架构上表现出稳定性能。在 CIFAR-10 与 Tiny Imagenet 两个数据集上的大量可复现性实验表明，该方法明确优于 NAT，且适用于其他模型与数据集。
引用
@article{arxiv.2205.07168,
title = {Proxyless Neural Architecture Adaptation for Supervised Learning and Self-Supervised Learning},
author = {Do-Guk Kim and Heung-Chang Lee},
journal= {arXiv preprint arXiv:2205.07168},
year = {2022}
}
备注
arXiv admin note: substantial text overlap with arXiv:2006.08231