VideoNeuMat：从生成式视频模型中提取神经材料
计算机视觉与模式识别
2026-05-19 v2 图形学
摘要
创建3D渲染的逼真材料需要卓越的艺术技能。虽然针对材料的生成模型可以提供帮助，但目前受限于缺乏高质量训练数据的不足。虽然最近的视频生成模型轻松地产生逼真的材料外观，但这种知识仍然与几何和光照信息交织在一起。我们提出了VideoNeuMat，一个两阶段管道，用于从视频扩散模型中提取可重用的神经材料资产。首先，我们微调大型视频模型（Wan 2.1 14B）生成受受控相机和光照轨迹驱动的材料样本视频，从而创建了一个“虚拟球面反射仪”，在保留模型材料真实性的同时学习结构化的测量模式。其次，我们通过Large Reconstruction Model（LRM）从这些视频中重建紧凑的神经材料，LRM基于较小的Wan 1.3B视频主干网络进行微调。从17个生成的视频帧中，LRM进行单次推理，预测神经材料参数，这些参数可推广到新观察和光照条件。 resulting materials exhibit realism and diversity far exceeding the limited synthetic training data, demonstrating that material knowledge can be successfully transferred from internet-scale video models into standalone, reusable neural 3D assets.
引用
@article{arxiv.2602.07272,
title = {VideoNeuMat: Neural Material Extraction from Generative Video Models},
author = {Bowen Xue and Saeed Hadadan and Zheng Zeng and Fabrice Rousselle and Zahra Montazeri and Milos Hasan},
journal= {arXiv preprint arXiv:2602.07272},
year = {2026}
}