面向科学发现的深度去噪：以电子显微镜为例
计算机视觉与模式识别
2024-11-05 v2 机器学习
图像与视频处理
摘要
去噪是科学成像中的一项基本挑战。深度卷积神经网络（CNN）在自然图像去噪方面提供了当前最先进的技术，并取得了令人印象深刻的结果。然而，它们在科学成像背景下的潜力几乎尚未被探索。去噪 CNN 通常在人为添加模拟噪声的真实自然图像上进行训练。相比之下，在科学应用中，通常无法获得无噪声的 ground-truth 图像。为解决此问题，我们提出了一种基于模拟的去噪（SBD）框架，其中 CNN 在模拟图像上训练。我们在透射电子显微镜（TEM）获取的数据上测试了该框架，TEM 是一种在材料科学、生物学和医学中应用广泛的成像技术。SBD 在模拟基准数据集以及真实数据上均以大幅优势优于现有技术。除去噪图像外，SBD 生成似然图以可视化去噪图像结构与观测数据之间的一致性。我们的结果揭示了最先进去噪架构的缺陷，例如其较小的视场：显著增大 CNN 的视场可使它们利用数据中的非局部周期模式，这在高噪声水平下至关重要。此外，我们分析了 SBD 的泛化能力，证明训练后的网络对成像参数和底层信号结构的变化具有鲁棒性。最后，我们发布了首个公开可用的 TEM 图像基准数据集，包含 18,000 个样本。
引用
@article{arxiv.2010.12970,
title = {Deep Denoising For Scientific Discovery: A Case Study In Electron Microscopy},
author = {Sreyas Mohan and Ramon Manzorro and Joshua L. Vincent and Binh Tang and Dev Yashpal Sheth and Eero P. Simoncelli and David S. Matteson and Peter A. Crozier and Carlos Fernandez-Granda},
journal= {arXiv preprint arXiv:2010.12970},
year = {2024}
}
备注
The dataset and the code used to train and evaluate and our models are available at https://sreyas-mohan.github.io/electron-microscopy-denoising/