实用多保真度机器学习：确定性模型与贝叶斯模型的融合

多保真度机器学习方法通过整合稀缺、资源密集型的高保真度数据与丰富但不够准确的低保真度数据来解决精度与效率之间的权衡。我们提出了一种针对低维和高维领域问题的实用多保真度策略，将低保真度数据上的非概率回归模型与高保真度数据上的贝叶斯模型相结合。模型采用交错训练方案，即先将低保真度模型迁移学习到高保真度数据上，然后训练贝叶斯模型以学习数据与迁移学习模型之间的残差。这种三模型策略——确定性低保真度模型、迁移学习和贝叶斯残差模型——产生的预测结果包括对噪声和无噪声多保真度数据的不确定性量化。该策略具有普适性，统一了该领域，突出了迁移学习与贝叶斯模型之间的表达性权衡（复杂的迁移学习模型会导致更简单的贝叶斯模型，反之亦然）。我们针对两种场景提出建模选择，倾向于使用线性迁移学习模型融合 1) 低保真度的核岭回归与高保真度的高斯过程；或 2) 低保真度的深度神经网络与高保真度的贝叶斯神经网络。我们基于各种数值示例和两个工程问题展示了所提方法的有效性与效率，并与当前方法进行了对比。结果表明，所提方法在均值和不确定性估计方面表现相当，同时在数据稀缺的机器学习建模场景中显著减少训练时间。此外，在数据丰富的设置下，该方法在其他多保真度架构中 outperform，通过有效缓解过拟合问题。