DINOv2 掀起地质图像分析：分类、分割与可解释性
计算机视觉与模式识别
2024-09-13 v3 地球物理
摘要
近期计算机视觉的快速发展显著提高了图像分析任务的效果。然而，深度学习模型常常在应用范围之外的领域（如地质科学领域）时表现不佳，由于该领域数据稀缺。本研究聚焦于岩石样本的 CT 扫描图像的分类、分割与可解释性，探讨现代计算机视觉技术在地质科学任务中的应用。我们评估了多种分割方法的有效性、效率和适应性，包括 Otsu 阈值、聚类技术（K-means、模糊 C-means）、监督机器学习方法（Random Forest）以及深度学习模型（UNet、ResNet152 和 DINOv2），分别使用十个二分类砂岩数据集和三个多分类方解石数据集。DINOv2 因其在特征提取方面的优异成绩及其在地质科学任务中的潜在适用性，被选为进一步评估其在处理 CT 扫描岩石数据方面的可解释性和有效性。在分类任务中，非微调的 DINOv2 在即使 CT 扫描图像超出原始训练集的情况下，仍能对岩石图像进行出色的分类。在分割任务中，阈值和聚类技术虽计算效率高，但在预处理努力下仍表现不佳。相比之下，监督方法取得了更好的性能。尽管深度学习方法需要更大的计算资源，但只需最小干预即可实现优越的泛化。特别是经过 LoRA 微调的 DINOv2 在跨分布分割任务中表现出色，甚至在数据有限的情况下也能在多分类任务中超越其他方法。值得注意的是，DINOv2 生成的分割掩码在视觉检查时往往比原始目标更准确。
引用
@article{arxiv.2407.18100,
title = {DINOv2 Rocks Geological Image Analysis: Classification, Segmentation, and Interpretability},
author = {Florent Brondolo and Samuel Beaussant},
journal= {arXiv preprint arXiv:2407.18100},
year = {2024}
}
备注
Minor typos fixing, added figures and revisions of some sections