ForamViT-GAN：探索微体古生物学图像分析中的深度学习新范式
计算机视觉与模式识别
2023-04-11 v1 图像与视频处理
摘要
地球科学中的微体古生物学聚焦于通过地质记录研究微体化石(如有孔虫)的演化，以重建过去的环境与气候条件。该领域高度依赖对微体化石特征的视觉识别，因而适合采用计算机视觉技术，特别是深度卷积神经网络(CNNs)，来实现微体化石识别与分类的自动化与优化。然而，深度学习在微体古生物学中的应用受限于高质量、高分辨率标注化石图像的稀缺，以及专家所需的大量人工标注工作。为应对这些挑战，我们提出了一种结合分层视觉Transformer与基于风格的生成对抗网络算法的新型深度学习工作流，以高效获取并大规模合成生成逼真的微体古生物学高分辨率标注数据集。我们的研究表明，该工作流可生成信噪比高(39.1 dB)的高分辨率图像，以及Fréchet inception distance相似度评分为14.88的逼真合成图像。此外，我们的工作流为模型基准测试及包括化石分类与分割在内的多种下游视觉任务提供了大规模自标注数据集。我们首次在生成与合成图像上对不同有孔虫房室进行了少样本语义分割且精度较高。这一新颖的元学习方法唯有在具备高分辨率、大规模标注数据集时才可实现。我们基于深度学习的工作流在推进与优化微体古生物学研究及其他依赖视觉的地质分析方面展现出前景。
引用
@article{arxiv.2304.04291,
title = {ForamViT-GAN: Exploring New Paradigms in Deep Learning for Micropaleontological Image Analysis},
author = {Ivan Ferreira-Chacua and Ardiansyah Koeshidayatullah},
journal= {arXiv preprint arXiv:2304.04291},
year = {2023}
}