$R^2$-Mesh：基于几何与外观细化的强化学习驱动网格重建
计算机视觉与模式识别
2026-02-24 v2
摘要
从神经辐射场（NeRF）进行网格重建被广泛用于三维重建，并已应用于众多领域。然而，现有方法通常仅依赖给定的训练集图像，这使得监督仅限于有限的观测，难以充分约束几何与外观。此外，每个视角对训练的贡献并不均匀，且在优化过程中动态变化，这可能导致几何细化和渲染质量的次优指导。为解决这些局限性，我们提出了-Mesh，一个结合NeRF渲染伪监督与在线视角选择的强化学习框架。我们的关键洞察是利用NeRF的渲染能力合成额外的高质量图像，以丰富的视角信息丰富训练。为确保监督聚焦于最有益的视角，我们引入了一种基于UCB的策略，配合几何感知奖励，在训练过程中动态平衡探索与利用，以识别信息量丰富的视角。在该框架下，我们在可微渲染下联合优化SDF几何和视角相关外观，同时周期性地细化网格以捕捉精细几何细节。实验表明，我们的方法在几何精度和渲染质量方面均取得了具有竞争力的结果。
引用
@article{arxiv.2408.10135,
title = {$R^2$-Mesh: Reinforcement Learning Powered Mesh Reconstruction via Geometry and Appearance Refinement},
author = {Haoyang Wang and Liming Liu and Xinggong Zhang},
journal= {arXiv preprint arXiv:2408.10135},
year = {2026}
}