基于 Transformer 的自监督学习用于流场重建与预测
流体动力学
2023-11-28 v1
摘要
机器学习在流场的高效重建与预测方面具有巨大潜力。然而，现有数据集对不同流动场景的标签可能高度多样化，不适用于训练模型。为此，我们首次尝试将自监督学习（SSL）技术应用于流体动力学，在模型预训练阶段忽略数据标签。SSL 技术接纳大量数据（在雷诺数 、、、 下的 个快照）而不加区分，从而提升模型的泛化能力。Transformer 模型通过专门设计的 pretext task 进行预训练，其在每个快照中随机掩蔽 数据点后重建完整流场。对于流场重建这一下游任务，预训练模型分别用每个雷诺数下的 个快照进行微调。即便对于预训练阶段未出现过的 和 数据，微调后的模型也能基于有限窗口内少于 的随机数据点准确重建完整流场。对于另一下游任务流场预测，预训练模型分别用每个对应雷诺数下的 个连续快照对进行微调。微调后的模型随后能正确预测流场在多个周期内的演化。我们将经 SSL 训练的模型与经监督学习训练的模型所得结果进行比较，前者性能无疑更优。我们期望本文提出的方法能在流体力学中有更广泛的应用。
引用
@article{arxiv.2311.15232,
title = {Self-supervised learning based on Transformer for flow reconstruction and prediction},
author = {Bonan Xu and Yuanye Zhou and Xin Bian},
journal= {arXiv preprint arXiv:2311.15232},
year = {2023}
}