无3D监督学习估计单视图体素流运动
计算机视觉与模式识别
2025-03-20 v1 机器学习
流体动力学
摘要
我们解决了一个具有挑战性的问题：利用深度神经网络从单目输入视频中联合推断流体中运动的3D流与体素密度。尽管该任务复杂，我们表明可以在无需任何3D真值用于训练的情况下训练相应网络。在缺乏真值数据的情况下，我们可以使用来自真实世界采集设置的观测进行模型训练，而非依赖合成重建。我们通过首先生成初始原型体素，随后随时间移动与传输该体素且无需体素监督，使这一无监督训练方法成为可能。我们的方法纯粹依赖于基于图像的损失、对抗判别器网络与正则化。我们的方法能够以稳定方式估计长期序列，同时对如上升烟羽等输入取得紧密匹配的靶标。
引用
@article{arxiv.2302.14470,
title = {Learning to Estimate Single-View Volumetric Flow Motions without 3D Supervision},
author = {Aleksandra Franz and Barbara Solenthaler and Nils Thuerey},
journal= {arXiv preprint arXiv:2302.14470},
year = {2025}
}
备注
ICLR 2023 poster, source code: https://github.com/tum-pbs/Neural-Global-Transport