低 fidelity 专家的动态集成：缓解 NAS “冷启动”
机器学习
2023-02-03 v1 人工智能
摘要
基于预测器的神经架构搜索（NAS）利用架构性能预测器来提升采样效率。然而，基于预测器的 NAS 遭受严重的“冷启动”问题，因为需要大量架构-性能数据才能获得可用的预测器。本文中，我们专注于利用更易获取的性能估计（即低 fidelity 信息）中的信息，以缓解预测器训练的大量数据需求。尽管该想法直观，我们观察到使用不适当的低 fidelity 信息甚至会损害预测能力，且不同搜索空间对低 fidelity 信息类型有不同偏好。为解决该问题并更好地融合不同类型低 fidelity 信息提供的有益信息，我们提出一种新颖的动态集成预测器框架，包含两步。第一步，我们在不同类型可用低 fidelity 信息上训练不同子预测器，以提取有益知识作为低 fidelity 专家。第二步，我们学习一个门控网络，以每个输入神经架构为条件动态输出一组加权系数，用于将不同低 fidelity 专家的预测以加权和方式组合。整体预测器在少量实际架构-性能数据上优化，以融合来自不同低 fidelity 专家的知识做出最终预测。我们在五个搜索空间下以不同架构编码器和多种实验设置进行了大量实验。我们的方法可轻松融入现有基于预测器的 NAS 框架以发现更优架构。
引用
@article{arxiv.2302.00932,
title = {Dynamic Ensemble of Low-fidelity Experts: Mitigating NAS "Cold-Start"},
author = {Junbo Zhao and Xuefei Ning and Enshu Liu and Binxin Ru and Zixuan Zhou and Tianchen Zhao and Chen Chen and Jiajin Zhang and Qingmin Liao and Yu Wang},
journal= {arXiv preprint arXiv:2302.00932},
year = {2023}
}