神经材料适配器：用于内在动力学的视觉 grounding
计算机视觉与模式识别
2024-10-14 v1 图形学
机器学习
摘要
虽然人类能够轻松辨别内在动力学并适应新情境，但现代人工智能系统常常难以应对。当前的视觉 grounding 动力学方法要么使用纯粹的神经网络模拟器（黑箱），可能违反物理定律；要么使用传统物理模拟器（白箱），依赖专家定义的方程式，而可能无法完全捕捉实际动力学。我们提出了神经材料适配器（NeuMA），其集成了现有的物理定律与学习修正，既能准确学习实际动力学，又保持物理先验的通用性和可解释性。此外，我们提出了粒子-GS（Particle-GS），一种基于粒子的 3D 高斯溶射变体，桥接了模拟与观测图像，允许反向传播图像梯度以优化模拟器。针对 various dynamics 中的 grounded particle 精度、动态渲染质量和泛化能力进行了全面实验，证明 NeuMA 能够准确捕捉内在动力学。
关键词
引用
@article{arxiv.2410.08257,
title = {Neural Material Adaptor for Visual Grounding of Intrinsic Dynamics},
author = {Junyi Cao and Shanyan Guan and Yanhao Ge and Wei Li and Xiaokang Yang and Chao Ma},
journal= {arXiv preprint arXiv:2410.08257},
year = {2024}
}
备注
NeurIPS 2024, the project page: https://xjay18.github.io/projects/neuma.html