从视频推断混合神经流体场
计算机视觉与模式识别
2023-12-12 v1 图形学
摘要
我们研究从稀疏多视角视频中恢复流体密度和速度。现有的神经动态重建方法主要依赖光流；因此，由于流体速度固有的视觉歧义性——流体通常无形且缺乏稳定的视觉特征，它们无法准确估计密度并揭示底层速度。流体流动的湍流特性进一步加剧了这一挑战，这要求设计恰当的流体速度表示。为解决这些挑战，我们提出了混合神经流体场（HyFluid），一种联合推断流体密度和速度场的神经方法。具体而言，为处理流体速度的视觉歧义性，我们引入了一组基于物理的损失函数，强制推断出物理上合理的速度场，该速度场无散度并驱动密度输运。为处理流体速度的湍流特性，我们设计了一种混合神经速度表示，它包括一个捕获大部分无旋能量的基础神经速度场和一个模拟残余湍流速度的基于涡旋粒子的速度。我们展示了我们的方法能够恢复涡旋流动细节。我们的方法为围绕三维不可压缩流动的各种学习和重建应用开辟了可能性，包括流体重模拟与编辑、未来预测以及神经动态场景合成。项目网站：https://kovenyu.com/HyFluid/
引用
@article{arxiv.2312.06561,
title = {Inferring Hybrid Neural Fluid Fields from Videos},
author = {Hong-Xing Yu and Yang Zheng and Yuan Gao and Yitong Deng and Bo Zhu and Jiajun Wu},
journal= {arXiv preprint arXiv:2312.06561},
year = {2023}
}
备注
NeurIPS 2023. Project website: https://kovenyu.com/HyFluid/ The first two authors contribute equally