一种高效的自动地图叙事系统——以历史地图为例
计算机视觉与模式识别
2024-10-22 v1 人工智能
摘要
历史地图提供了关于过去的宝贵信息和知识。然而，由于它们通常具有非标准投影、手绘风格和艺术元素，非专家很难识别和解读它们。虽然现有的图像描述方法在自然图像上取得了显著成功，但它们在历史地图上的表现欠佳，因为地图在其预训练过程中代表性不足。尽管GPT-4在文本识别和地图描述方面取得了最新进展，但它对地图的理解仍然有限，因为当地图中的文本（例如标题和图例）缺失或不准确时，其性能会下降。此外，使用用户自己的数据集对模型进行微调效率低下甚至不切实际。为了解决这些问题，我们提出了一种新颖且轻量级的地图描述对应方法。具体来说，我们对最先进的视觉-语言模型CLIP进行微调，以生成与历史地图相关的描述，并使用GPT-3.5丰富描述，以讲述关于给定地图的地点、内容、时间和原因的简短故事。我们提出了一种新颖的决策树架构，仅生成与指定地图类型相关的描述。我们的系统对地图中的文本更改具有不变性。该系统可以轻松适应和扩展到其他地图类型，并扩展到更大的地图描述系统。代码已在https://github.com/claudaff/automatic-map-storytelling开源。
引用
@article{arxiv.2410.15780,
title = {An Efficient System for Automatic Map Storytelling -- A Case Study on Historical Maps},
author = {Ziyi Liu and Claudio Affolter and Sidi Wu and Yizi Chen and Lorenz Hurni},
journal= {arXiv preprint arXiv:2410.15780},
year = {2024}
}