通过 SciML 基础模型实现数据高效的神经流体场推断
机器学习
2026-02-23 v2 计算机视觉与模式识别
摘要
3D 视觉的最新发展使得在推断神经流体场和逼真渲染流体动力学方面取得了显著进展。然而，这些方法需要密集捕获真实世界的流动，这需要专门的实验室设置，使得过程昂贵且具有挑战性。科学机器学习（SciML）基础模型在偏微分方程（PDE）的大量模拟上进行了预训练，编码了丰富的多物理知识，因此为流体场推断提供了有前景的领域先验来源。然而，这些基础模型向真实世界视觉问题的可迁移性在很大程度上尚未被探索。在这项工作中，我们证明 SciML 基础模型可以显著减少推断真实世界 3D 流体动力学所需的数据量，同时提高泛化能力。我们的方法利用了 SciML 基础模型学习的强大预测能力和有意义的表示。我们引入了一种新颖的协作训练策略，该策略为神经流体场配备了从基础模型中提取的增强帧和流体特征。大量实验表明，在定量指标和视觉质量上，我们的方法都显著优于先前的方法。特别是，我们的方法在未来预测的峰值信噪比（PSNR）上提高了 9-36%，同时将所需的训练帧数减少了 25-50%。这些结果凸显了 SciML 基础模型在真实世界流体动力学重建中的实际适用性。我们的代码可在 https://github.com/delta-lab-ai/SciML-HY 获取。
引用
@article{arxiv.2412.13897,
title = {Data-Efficient Inference of Neural Fluid Fields via SciML Foundation Model},
author = {Yuqiu Liu and Jingxuan Xu and Mauricio Soroco and Yunchao Wei and Wuyang Chen},
journal= {arXiv preprint arXiv:2412.13897},
year = {2026}
}
备注
Accepted by 3DV 2026