学习从 RGB 图像恢复光谱反射率

本文解决从 RGB 图像进行光谱反射率恢复（SRR）的问题。由于捕获真实光谱反射率和相机光谱灵敏度具有挑战性且成本高昂，大多数现有方法在合成图像上训练，并对所有未见测试图像使用相同参数，这尤其当训练模型在真实图像上测试时是次优的，因为它们从未利用测试图像的内部信息。为解决此问题，我们采用自监督元辅助学习（MAXL）策略，用每张测试图像微调训练良好的网络参数，以结合外部与内部信息。据我们所知，这是首个将 MAXL 策略成功应用于该问题的工作。我们没有依赖朴素端到端训练，还提出了一种新架构，基于我们的数学分析将光谱反射率与相应 RGB 图像之间的物理关系整合到网络中。此外，由于场景的光谱反射率独立于其光照，而相应的 RGB 图像则不然，我们从多光照下捕获的 RGB 图像恢复场景的光谱反射率，以进一步减少未知量。定性和定量评估证明了我们提出的网络及 MAXL 的有效性。我们的代码和数据可在 https://github.com/Dong-Huo/SRR-MAXL 获取。