基于帕累托支配新颖性搜索的高效多目标神经架构搜索

神经架构搜索（NAS）旨在自动化发现高性能的深度神经网络架构。传统的基于目标的NAS方法通常优化某个性能指标（例如，预测准确率），忽略了可能包含有趣网络配置的架构搜索空间的大部分区域。此外，在复杂搜索空间中，目标驱动的基于群体的元启发式算法通常会迅速耗尽种群多样性，并过早收敛到局部最优。当性能目标与候选架构的实际性能不完全一致时（如通常使用免训练指标的情况），这个问题在NAS中变得更加复杂。虽然免训练指标因其无需计算密集的网络训练即可快速估计候选架构性能而受到欢迎，但如何将其有效整合到NAS中仍然是一个挑战。本文提出了基于帕累托支配的新颖性搜索，用于具有多个免训练指标的多目标NAS（MTF-PDNS）。与优化显式目标的传统NAS方法不同，MTF-PDNS通过利用基于多个免训练性能和复杂度指标计算的新颖性分数来促进种群多样性，从而实现对搜索空间更广泛的探索。在标准NAS基准套件上的实验结果表明，MTF-PDNS在收敛速度、多样性维持、架构可迁移性和计算成本方面优于由显式目标驱动的传统方法。