基于多代理模型集成的深度神经网络快速超参数优化

深度神经网络的性能关键取决于良好的超参数配置。贝叶斯优化是用于优化深度神经网络超参数的强大框架。这些方法需要充分的评估数据来近似并最小化超参数的验证误差函数。然而，深度神经网络昂贵的评估代价导致在有限时间内评估数据极少，这极大降低了贝叶斯优化的效率。此外，以往研究聚焦于使用完整的评估数据来进行贝叶斯优化，而忽略了由早停方法生成的中间评估数据。为缓解评估数据不足的问题，我们提出一种快速超参数优化方法 HOIST，其利用完整与中间评估数据来加速深度神经网络的超参数优化。具体而言，我们训练多个基础代理模型从混合评估数据中收集信息，随后使用加权装袋组合所有基础代理模型以提供准确的集成代理模型。我们的实证研究表明，HOIST 在广泛的深度神经网络上优于最先进的方法，包括前馈神经网络、卷积神经网络、循环神经网络和变分自编码器。