事件光谱学：基于结构光的事件驱动多光谱与深度感知

无人驾驶飞行器（UAV）越来越多地部署在森林环境中，用于环境监测和搜索救援等任务，这些任务要求在茂密的树叶中安全导航并精确收集数据。传统的感知方法，包括被动多光谱和RGB成像，存在延迟高、深度分辨率差以及对环境光（尤其是在森林冠层下）依赖性强的问题。在这项工作中，我们提出了一种新颖的事件光谱系统，该系统能够使用单个传感器同时实现高分辨率、低延迟的深度重建与集成的多光谱成像。深度通过结构光进行重建，并且通过调制所投射结构光的波长，我们的系统在650 nm至850 nm之间的受控波段内捕获光谱信息。我们证明，与商用深度传感器相比，RMSE（均方根误差）提高了高达$60\%$，并对照参考光谱仪和商用多光谱相机验证了光谱精度，展示了可比的性能。一个仅限于RGB（3个波长）的便携式版本被用于从马苏阿拉雨林收集真实世界的深度和光谱数据。我们展示了该原型机用于彩色图像重建以及利用光谱和深度数据区分树叶和树枝的材质。我们的结果表明，与仅使用颜色的方法相比，在材质区分中加入深度信息（在我们的设置中无需额外努力即可获得）可将准确率提高超过$30\%$。我们的系统在实验室和真实雨林环境中均进行了测试，在深度估计、RGB重建和材质区分方面表现出强大的性能，为在复杂的自然环境中实现轻量级、集成且鲁棒的UAV感知和数据采集铺平了道路。