机器学习算法的超参数重要性

超参数在监督机器学习算法的拟合中起着至关重要的作用。然而，同时调整所有可调超参数在计算上非常昂贵，特别是对于大型数据集。在本文中，我们给出了一个可通过子抽样过程进行估计的超参数重要性定义。根据该重要性，可以更高效地在整个数据集上调整超参数。我们在理论上证明了，在较弱的条件下，数据子集上的重要性与总体数据上的重要性是一致的。数值实验表明，所提出的重要性具有一致性，并能节省大量计算资源。