基于图像与元数据的相机系统实时噪声源估计

自主机器必须自我维持正常功能，以确保人类及自身的安全。这尤其涉及其作为感知环境和支持行动的主要传感器——相机。本研究解决的一个基本相机问题是噪声。现有解决方案通常侧重于事后对图像进行去噪，即治标不治本。然而，要从根本上解决问题，需要考虑移动平台的限制，识别噪声源。本研究探讨了一种结合数据驱动与物理模型的实时、内存高效且可靠的噪声源估计器。为此，构建并训练了一个深度神经网络（DNN），利用相机元数据检查图像以识别主要相机噪声源。此外，它还能量化影响图像噪声或元数据的意外因素。本研究在六个数据集上考察了七种不同的估计器，这些数据集包含合成噪声、来自两个相机系统的真实世界噪声以及真实外场采集数据。结果表明，只有包含最多元数据的模型能够准确且鲁棒地量化所有单独的噪声贡献。该方法优于总图像噪声估计器，并支持即插即用部署。它也可作为纳入更高级噪声源的基础，或作为自动反制措施反馈回路的一部分，以实现完全可靠的机器。