通过学习分层搜索空间进行神经网络搜索
计算机视觉与模式识别
2025-03-28 v1
摘要
蒙特卡洛树搜索（MCTS）是许多非可微分搜索相关问题（如对抗游戏）的强大工具。然而，此方法的性能高度依赖于在树的每个分支处考虑节点的顺序。如果前几个分支无法区分最终任务中最有前景的配置与误导性的配置，搜索效率将指数下降。在神经网络搜索（NAS）中，由于仅关心最终网络结构，分支的访问顺序可以被优化以提高学习。在本文中，我们研究将MCTS应用于图像分类的NAS。我们分析了几种采样方法和分支替代方案，并提出通过基于其相似性对网络结构进行层次聚类来学习分支。相似性通过网络架构输出向量的两两距离来衡量。在CIFAR10和ImageNet两个具有挑战性的基准上进行大量实验表明，若提供良好的分支层次结构，MCTS可以比其他NAS方法更有效地获得有前景的解决方案。
引用
@article{arxiv.2503.21061,
title = {Neural Architecture Search by Learning a Hierarchical Search Space},
author = {Mehraveh Javan Roshtkhari and Matthew Toews and Marco Pedersoli},
journal= {arXiv preprint arXiv:2503.21061},
year = {2025}
}