OptiProxy-NAS：基于优化代理的端到端神经网络架构搜索
机器学习
2025-09-09 v1 人工智能
摘要
神经网络架构搜索(NAS)是一个计算代价高昂的离散、庞大且尖峰状的优化问题。该搜索空间的关键研究努力之一是通过某些代理评估来加速NAS。与广泛使用的基于预测器的代理模型方法和基于可微分架构搜索的超网络方法不同，我们提出了一种优化代理，将NAS简化为一个端到端优化框架，即OptiProxy-NAS。具体而言，通过代理表示，NAS空间被重构为连续、可微分且平滑的。因此，任何可微分优化方法都可应用于松弛架构参数的基于梯度的搜索。我们在12个NAS任务、4个搜索空间上的全面实验，涵盖计算机视觉、自然语言处理和资源受限NAS三个不同领域，充分展示了优越的搜索结果和效率。低保真度场景的进一步实验验证了灵活性。
引用
@article{arxiv.2509.05656,
title = {OptiProxy-NAS: Optimization Proxy based End-to-End Neural Architecture Search},
author = {Bo Lyu and Yu Cui and Tuo Shi and Ke Li},
journal= {arXiv preprint arXiv:2509.05656},
year = {2025}
}