提高数据稀缺领域预测效果的三阶段贝叶斯迁移学习框架

机器学习在工程中的应用日益增长，支持广泛的应用领域。尽管深度神经网络因其性能和可接入性而被广泛采用，但它们需要大量高质量数据。实验数据常稀疏、噪声或不足以构建韧性的数据驱动模型。迁移学习通过利用数据丰富的源域数据帮助数据稀缺的目标域学习，已显示出有效性。参数迁移即重用预训练权重，但在域迁移幅度较大时会导致性能下降。域对抗神经网络 (DANN) 通过学习域无关表示来解决此问题，从而在半监督设置下实现更大的域迁移。然而，DANN 在训练期间可能不稳定，且缺乏天然的不确定性量化方法。本研究引入一个全监督的三阶段框架，即分阶段贝叶斯域对抗神经网络 (staged B-DANN)，结合参数迁移和共享潜在空间适应。在阶段1中，对源域训练确定性特征提取器。在阶段2中，使用 DANN 对特征提取器进行对抗式精炼。在阶段3中，基于适应后的特征提取器构建贝叶斯神经网络，以针对目标域进行微调，以处理条件迁移并提供校准的不确定性估计。该分阶段 B-DANN 方法首先在合成基准上验证，显著优于标准迁移技术。随后应用于预测矩形通道中的临界热流的任务，利用管式实验数据作为源域。本研究结果表明，分阶段 B-DANN 方法可提高预测精度和泛化能力，可能帮助其他核工程领域实现改进。