具有热力学一致性保证的晃动场景物理感知

物理感知经常面临场景中仅有有限数据或部分测量可用的问题。在这项工作中，我们提出一种从自由液面测量中学习晃动液体全状态的策略。我们的方法基于循环神经网络（RNN），将可用的有限信息投影到降阶流形上，从而不仅重建未知信息，还能够实时执行关于未来场景的流体推理。为获得物理一致的预测，我们在降阶流形上训练深度神经网络，通过引入归纳偏置确保热力学原理的满足。RNN从历史中学习所需的隐藏信息，以将有限信息与发生模拟的潜空间相关联。最后，解码器将数据返回到高维流形，从而以增强现实的形式为用户提供有洞察力的信息。该算法连接到一个计算机视觉系统，以使用真实信息测试所提方法的性能，从而得到一个能够实时理解和预测观测流体未来状态的系统。