基于物理信息的特征轨迹学习用于烟雾重建
计算机视觉与模式识别
2024-07-16 v1 图形学
机器学习
摘要
我们深入研究通过稀疏视角 RGB 视频进行烟雾和障碍物的物理信息神经重建，解决因观察受限导致的复杂动态挑战。现有的物理信息神经网络通常侧重于短期物理约束，较少探索长期守恒的恰当保持。我们引入神经特征轨迹场（Neural Characteristic Trajectory Fields），一种新型表示方法，利用欧拉神经场隐式建模拉格朗日流体轨迹。这种无拓扑、可自动微分的表示方法促进了任意帧之间高效的流图计算以及通过自动微分的高效速度提取。因此，它使得覆盖长期守恒和短期物理先验的端到端监督成为可能。基于该表示，我们提出了物理信息轨迹学习和集成到 NeRF 基场景重建中。通过自监督场景分解和无缝集成边界约束，我们实现了高级的障碍处理。我们的结果展示了能够克服遮挡不确定性、密度-颜色歧义以及静态-动态 entanglement 挑战的能力。代码和样本测试位于 \url{https://github.com/19reborn/PICT_smoke}。
引用
@article{arxiv.2407.09679,
title = {Physics-Informed Learning of Characteristic Trajectories for Smoke Reconstruction},
author = {Yiming Wang and Siyu Tang and Mengyu Chu},
journal= {arXiv preprint arXiv:2407.09679},
year = {2024}
}
备注
SIGGRAPH 2024 (conference track), Project Website: \url{https://19reborn.github.io/PICT_Smoke.github.io/}