利用大型多模态模型识别石材劣化模式
计算机视觉与模式识别
2024-06-06 v1 计算工程、金融与科学
摘要
基于石材的文化遗产地保护是保护文化和历史地标的关键问题。随着大型多模态模型（如GPT-4omni（OpenAI）、Claude 3 Opus（Anthropic）和Gemini 1.5 Pro（Google））的出现，定义这些模型的操作能力变得越来越重要。在本工作中，我们系统评估了主要基础多模态模型在识别和分类石材元素异常与劣化模式方面的能力，这些能力在世界遗产保护与修复实践中具有实用价值。在定义了主要石材劣化模式和异常的分类体系后，我们要求基础模型识别精心挑选的354张极具代表性的石质建筑遗产图像，并为它们提供精心挑选的标签选项。结果因模式类型而异，使我们能够识别这些模型在遗产保护与修复领域的优势与不足。
引用
@article{arxiv.2406.03207,
title = {Identification of Stone Deterioration Patterns with Large Multimodal Models},
author = {Daniele Corradetti and Jose Delgado Rodrigues},
journal= {arXiv preprint arXiv:2406.03207},
year = {2024}
}
备注
10 pages, 5 figures, submitted to Journal of Cultural Heritage