POMONAG：面向多目标的帕累托最优神经网络生成器

神经网络架构搜索（NAS）通过自动化设计神经网络，减少对人类专业知识的依赖。尽管NAS方法计算密集且数据集特定，但辅助预测器可减少所需训练的模型，从而降低搜索时间。此策略用于生成满足多个计算约束的网络架构。最近，可迁移NAS（Transferable NAS）涌现，将搜索过程从数据集依赖性转向任务依赖性。在该领域，扩散导论（DiffusionNAG）是一种最先进的方法。该扩散方法简化了计算，生成在未见数据集上优化准确率的网络架构，无需进一步适应。然而，由于仅关注准确率，扩散导论忽略了模型复杂度、计算效率和推理延迟等其他关键目标——这些因素对于在资源受限环境中部署模型至关重要。本文介绍帕累托最优多目标神经网络生成器（Pareto-Optimal Many-Objective Neural Architecture Generator, POMONAG），通过多目标扩散过程扩展扩散导论。POMONAG同时考虑准确率、参数数量、乘法-累加运算（MACs）和推理延迟。它集成了性能预测模型，用于估计这些指标并引导扩散梯度。通过扩充训练元数据集、应用帕累托前沿过滤和细化条件生成的嵌入，POMONAG的优化得以提升。这些增强措施使POMONAG能够生成在性能和效率方面均优于先前最先进方法的帕累托最优网络架构。结果在两个搜索空间——NASBench201和MobileNetV3——上进行验证，并在15个图像分类数据集上进行评估。