理解超参数优化对结构设计问题机器学习模型的影响

为了缓解使用昂贵有限元仿真进行设计评估的计算成本，代理模型已广泛应用于计算机辅助工程设计。机器学习算法（MLA）因其能够从大数据集中学习设计变量与响应之间的复杂相互关系，已被实现为代理模型。通常，MLA 回归模型包含模型参数和超参数。模型参数通过拟合训练数据获得。控制模型结构和训练过程的超参数则由用户在训练前指定。目前缺乏关于超参数对代理模型准确性和鲁棒性影响的系统研究。在本工作中，我们提议建立一个超参数优化（HOpt）框架，以加深对该影响的理解。四种常用的 MLA，即高斯过程回归（GPR）、支持向量机（SVM）、随机森林回归（RFR）和人工神经网络（ANN），在四个基准示例上进行了测试。对于每个 MLA 模型，比较了 HOpt 前后的模型准确性和鲁棒性。结果表明，HOpt 通常能提升 MLA 模型的整体性能。对于以高维混合变量设计空间为特征的复杂问题，HOpt 在 MLA 的准确性和鲁棒性方面提升甚微。对于具有中等复杂度的设计问题，推荐使用 HOpt。我们还研究了 HOpt 带来的额外计算成本。训练成本与 MLA 架构密切相关。HOpt 后，ANN 和 RFR 的训练成本增加幅度大于 GPR 和 SVM。综上所述，本研究有助于根据设计问题的复杂度为其选择合适的 HOpt 方法。