面向预测器的神经网络架构搜索中的损失函数
机器学习
2025-06-09 v1 人工智能
计算机视觉与模式识别
摘要
在神经网络架构搜索（NAS）中，评估是一个关键但代价高昂的步骤。已广泛采用性能预测器，通过直接估计架构性能来减少评估成本。预测器的有效性严重依赖于损失函数的选择。虽然传统预测器使用回归损失函数来评估架构的绝对准确性，但近期方法探索了各种排序-based损失函数，如两两排序损失和列表排序损失，以关注架构性能的排序。尽管这些方法在NAS中取得了成功，但这些损失函数的有效性和特征尚未得到彻底调查。本文对NAS中损失函数进行首次全面研究，将其分为三大类型：回归、排序和加权损失函数。具体而言，我们在13个任务上测试了8种损失函数，涵盖5个搜索空间。我们的結果显示，特定类型的损失函数可以有效组合以提升预测器的性能。我们的发现为选择合适的损失函数以适应各种任务提供了实用指导。我们希望本工作为NAS社区中损失函数的开发提供有意义的见解。
引用
@article{arxiv.2506.05869,
title = {Loss Functions for Predictor-based Neural Architecture Search},
author = {Han Ji and Yuqi Feng and Jiahao Fan and Yanan Sun},
journal= {arXiv preprint arXiv:2506.05869},
year = {2025}
}