用于神经网络参数优化的元学习

人工神经网络（ANNs）的优化对于这些模型在真实世界应用中取得成功是一项重要任务。针对该任务所采用的解决方案通常代价高昂，涉及试错过程或专家知识，而这些并非总是可得。本文中，我们研究了元学习在人工神经网络优化中的使用。元学习是一个旨在自动获取将学习问题的特征与学习算法性能相关联的知识的研究领域。元学习技术最初被提出并评估用于算法选择问题，随后用于支持向量机的参数优化。然而，元学习可作为一种更通用的策略来优化人工神经网络参数，这推动了该研究方向上的新探索。在当前工作中，我们开展了一项案例研究，使用元学习为MLP网络选择隐藏节点数，这是决定网络性能优劣所需定义的一个重要参数。在我们的工作中，我们生成了一个与93个回归问题相关联的元样本库。每个元样本由一个回归问题生成并存储：描述该问题的16个特征（例如属性数量及问题属性间的相关性）以及针对该问题从一系列可能值中经验性选出的最佳节点数。这组元样本被作为输入提供给一个元学习器，该元学习器能够基于新问题的特征预测其最佳节点数。本案例研究中所进行的实验显示出令人满意的结果。