基于卷积神经网络模型的 FISH 与 nanoSIMS 图像多模态配准
计算机视觉与模式识别
2022-04-07 v2
摘要
纳米级二次离子质谱（nanoSIMS）与荧光原位杂交（FISH）显微镜分别为微生物研究中靶向微生物群落的身份与细胞活性提供高分辨率多模态图像表征。尽管对微生物学家十分重要，但由于两幅图像均存在形态畸变与背景噪声，FISH 与 nanoSIMS 图像的多模态配准颇具挑战。在本研究中，我们使用卷积神经网络（CNNs）进行多尺度特征提取、形状上下文计算最小变换代价特征匹配，以及薄板样条（TPS）模型实现 FISH 与 nanoSIMS 图像的多模态配准。配准精度在像素与结构两个层面使用标准度量对照人工配准图像进行定量评估。尽管所测试的六种 CNN 模型均表现良好，但基于多数度量，观察到 ResNet18 优于 VGG16、VGG19、GoogLeNet、ShuffleNet 与 ResNet101。本研究展示了 CNNs 在具有显著背景噪声与形态畸变的多模态图像配准中的效用。我们还表明，通过二值化保留的聚合形状可作为配准微生物学相关多模态图像的鲁棒特征。
引用
@article{arxiv.2201.05545,
title = {Multimodal registration of FISH and nanoSIMS images using convolutional neural network models},
author = {Xiaojia He and Christof Meile and Suchendra M. Bhandarkar},
journal= {arXiv preprint arXiv:2201.05545},
year = {2022}
}