Mesh-Learner：基于球谐函数的网格纹理化
计算机视觉与模式识别
2025-08-26 v3 机器人学
摘要
本文提出了一种3D重建和渲染框架，称为Mesh-Learner，其天然兼容传统光栅化管线。它将网格和球谐函数（SH）纹理（即充满SH系数的纹理）集成到学习过程中，以端到端学习每个网格视图依赖的辐射。图像通过在每个像素的采样点处对周围SH Texel进行插值来渲染，采用一种新颖的插值方法。相反，来自每个像素的梯度反向传播到相关SH Texel。Mesh-Learner利用光栅化管线的图形特性（纹理采样、延迟渲染）进行渲染，这使得Mesh-Learner自然兼容基于光栅化管线的工具（如Blender）和任务（如3D重建、场景渲染、机器人强化学习）。我们的系统由于仅将锥形内的SH纹理传输到GPU进行训练，能够训练大量、无限的场景；此外，SH纹理在其他时间以CPU内存存储，从而实现适中GPU内存使用。Replica和FAST-LIVO2数据集上插值和外推序列的渲染结果在现有SOTA方法（如3D Gaussian Splatting和M2-Mapping）之上实现了最先进的性能。为利于社会，我们将在https://github.com/hku-mars/Mesh-Learner上提供代码。
引用
@article{arxiv.2504.19938,
title = {Mesh-Learner: Texturing Mesh with Spherical Harmonics},
author = {Yunfei Wan and Jianheng Liu and Chunran Zheng and Jiarong Lin and Fu Zhang},
journal= {arXiv preprint arXiv:2504.19938},
year = {2025}
}
备注
IROS2025 Accepted