Shrink-Perturb 改进群体训练神经架构搜索中的架构混合
机器学习
2023-07-31 v1
摘要
在本工作中，我们表明同时训练并混合神经网络是一种有前景的神经架构搜索（NAS）途径。对于超参数优化，复用部分训练的权重可实现高效搜索，正如群体训练（PBT）算法先前所展示的那样。我们提出 PBT-NAS，一种将 PBT 适配于 NAS 的方法，其中通过在群体中用表现良好网络的混合结果替换表现不佳的网络、并利用 shrink-perturb 技术继承权重，从而在训练过程中改进架构。PBT-NAS 终止后，所创建的网络可直接使用而无需重训练。PBT-NAS 高度可并行且有效：在具有挑战性的任务（图像生成与强化学习）上，PBT-NAS 相比基线（随机搜索与基于变异的 PBT）取得了更优性能。
引用
@article{arxiv.2307.15621,
title = {Shrink-Perturb Improves Architecture Mixing during Population Based Training for Neural Architecture Search},
author = {Alexander Chebykin and Arkadiy Dushatskiy and Tanja Alderliesten and Peter A. N. Bosman},
journal= {arXiv preprint arXiv:2307.15621},
year = {2023}
}
备注
10 pages, 7 figures. Accepted at ECAI 2023