面向 CNN 的高效超参数重要性评估

Ruinan Wang; Ian Nabney; Mohammad Golbabaee

面向 CNN 的高效超参数重要性评估

机器学习 2024-10-18 v1 人工智能计算机视觉与模式识别

作者: Ruinan Wang , Ian Nabney , Mohammad Golbabaee

摘要

超参数选择是机器学习管道的关键要素，直接影响模型的鲁棒性、稳定性和泛化能力。鉴于神经网络关联的复杂超参数空间以及计算资源和时间的限制，对所有超参数进行优化变得不切实际。在此背景下，利用超参数重要性评估 (HIA) 可提供宝贵的指导，通过缩小搜索空间来实现。这使机器学习从业者能够将优化资源集中于对模型性能影响最大的超参数上，从而节省时间和资源。本文旨在以一种名为 N-RReliefF 的算法量化 CNN 中某些超参数的重要性权重，为在深度学习领域应用 HIA 方法奠定基础。我们通过在十个流行图像分类数据集上训练超过一万个 CNN 模型，获取了包含超参数配置实例及其对应性能指标的全面数据集。结果表明，在所调查的超参数中，CNN 模型的前五大重要超参数依次为：卷积层数、学习率、dropout 比率、优化器和 epoch。

关键词

超参数重要性 CNN N-RReliefF 图像分类模型优化

引用

@article{arxiv.2410.08920,
  title  = {Efficient Hyperparameter Importance Assessment for CNNs},
  author = {Ruinan Wang and Ian Nabney and Mohammad Golbabaee},
  journal= {arXiv preprint arXiv:2410.08920},
  year   = {2024}
}

备注

15 pages

面向 CNN 的高效超参数重要性评估

摘要

关键词

引用

备注

相关论文