针对随机算法的超参数优化：以随机特征为案例研究
机器学习
2025-02-26 v4 统计计算
机器学习
摘要
随机算法通过利用随机性来降低计算复杂度。一个重要例子是随机特征回归（RFR），它加速了高斯过程回归（GPR）。RFR 用一个随机神经网络来逼近未知函数，其隐藏层权重和偏置从概率分布中采样。只有最终的输出层拟合数据。在 RF 等随机算法中，描述采样分布的超参数对性能影响很大，但无法直接从样本中获得。这使得通过标准（梯度-based）优化工具来优化超参数不可行。灵感来自 GPR 的贝叶斯思想，本文引入一个针对向量值随机特征的超参数调优的随机目标函数。该目标函数通过 ensemble Kalman 反演（EKI）进行最小化。EKI 是一种无梯度的基于粒子的优化器，具有高维扩展性和对目标函数随机性的鲁棒性。数值研究展示了该新型黑盒方法在多个对超参数选择敏感的问题中的应用：两个全局灵敏度分析、整合混沌动力系统，以及来自大气动力学的贝叶斯逆问题。该 EKI 基于算法在 RFR 中的成功，表明其在其他随机算法中实现超参数自动优化具有潜力。
引用
@article{arxiv.2407.00584,
title = {Hyperparameter Optimization for Randomized Algorithms: A Case Study on Random Features},
author = {Oliver R. A. Dunbar and Nicholas H. Nelsen and Maya Mutic},
journal= {arXiv preprint arXiv:2407.00584},
year = {2025}
}