强凸性引导的超参数优化以实现更平坦的损失

我们提出了一种新颖的白盒超参数优化方法。受近期关于平坦极小值与泛化性之间关系的研究启发，我们首先建立了损失函数的强凸性与其平坦性之间的关系。基于此，我们试图通过最小化损失函数的强凸性来寻找能够改善平坦性的超参数配置。通过利用底层神经网络的结构，我们推导出近似强凸性参数的闭式方程，并尝试以随机方式找到使其最小化的超参数。通过在 14 个分类数据集上的实验，我们表明我们的方法在仅需一小部分运行时间的情况下实现了强大的性能。