数据驱动光谱重建的局限性——一种光学感知分析

高光谱成像通过记录材料的光谱特征，赋予机器视觉系统识别材料的独特能力。数据驱动光谱重建的近期工作旨在从低成本 RGB 相机捕获的 RGB 图像中提取光谱信息，而非使用专用硬件。已发表的工作报告了该重建任务极高的数值分数，然而其实际性能却大幅落后。我们系统地分析了此类方法的性能。首先，我们通过使用较少数据训练网络、用未见但稍作修改的数据验证训练模型以及跨数据集验证，评估了当前数据集上的过拟合局限性。其次，我们揭示了 RGB 到光谱方法在处理同色异谱或近同色异谱条件下的基本局限性，由于现有数据集的不足，这些局限性至今在很大程度上未被注意到。我们使用由同色异谱黑理论生成的同色异谱数据验证训练模型，并用各种形式的同色异谱对网络进行重新训练。该方法也可用于数据增强以部分缓解数据集问题，尽管 RGB 到光谱的逆问题在本质上仍然是病态的。最后，我们分析了通过利用光学像差或刻意光学设计提供的光学编码来修改问题设定以实现更好性能的潜力。我们的实验表明，此类方法在某些情况下提供了改进的结果，但其整体性能受到相同数据集问题的限制。我们得出结论，快照光谱成像的未来进展将在很大程度上依赖于改进数据集的生成，进而用于设计有效的光学编码策略。代码：https://github.com/vccimaging/OpticsAwareHSI-Analysis。