未知光谱成分下的无物理光谱复用光度立体视觉

在本文中，我们提出了一种突破性的光谱复用光度立体视觉方法，用于恢复动态表面的法向量，而无需校准照明或传感器，这在传统上受限于严格先决条件和光谱模糊性的领域中是一项显著进步。通过将光谱模糊性转化为优势，我们的技术无需专门的多光谱渲染框架即可生成训练数据。我们引入了一种独特的无物理网络架构 SpectraM-PS，它能有效处理复用图像，以在各种条件和材料类型下确定表面法向量，而无需依赖特定的基于物理的知识。此外，我们建立了首个光谱复用光度立体视觉基准数据集 SpectraM14，以便对现有的校准方法进行全面评估。我们的贡献显著增强了动态表面恢复的能力，特别是在未校准设置中，标志着光度立体视觉在各个领域应用的关键一步。