Mesh-Learner：基于球谐函数的网格纹理化
图像与视频处理
2025-04-29 v1 计算机视觉与模式识别
摘要
本文提出一种3D重建与渲染框架，称为Mesh-Learner，其本质上与传统光栅化管道兼容。它将网格与球谐函数（Spherical Harmonic, SH）纹理（即由SH系数填充的纹理）集成到学习过程中，端到端学习每个网格视图相关的辐射。图像通过在每个像素采样点处对周围SH Texels进行插值来渲染，采用一种新颖的插值方法。相反，来自每个像素的梯度会反向传播到相关的SH Texels。Mesh-Learner利用光栅化管道的图形特征（纹理采样、延迟渲染）进行渲染，这使其与基于光栅化管道的工具（如Blender）和任务（如3D重建、场景渲染、机器人强化学习）天然兼容。我们的系统可以训练大量、无限制的场景，因为仅将锥形内的SH纹理传输到GPU进行训练。其他时候，SH纹理存储在CPU内存中，这导致GPU内存使用适中。Replica和FAST-LIVO2数据集上插值和外推序列的渲染结果在现有SOTA方法（如3D高斯溶解和M2-Mapping）之上实现了SOTA性能。为利于社会，代码将在https://github.com/hku-mars/Mesh-Learner 上公开。
引用
@article{arxiv.2504.19937,
title = {SST-DUNet: Automated preclinical functional MRI skull stripping using Smart Swin Transformer and Dense UNet},
author = {Sima Soltanpour and Rachel Utama and Arnold Chang and Md Taufiq Nasseef and Dan Madularu and Praveen Kulkarni and Craig Ferris and Chris Joslin},
journal= {arXiv preprint arXiv:2504.19937},
year = {2025}
}