使用GPT-4从建筑立面图像进行零样本建筑年代分类
计算机视觉与模式识别
2024-04-16 v1 人工智能
摘要
建筑的建造年代对于支持许多地理空间应用至关重要。当前许多研究集中在使用深度学习从建筑立面图像估计建筑年代。然而，构建准确的深度学习模型需要大量标注训练数据，且训练好的模型通常具有地理局限性。最近，如GPT-4 Vision等大型预训练视觉语言模型（VLMs）展现出了显著的泛化能力，已成为处理特定视觉任务的潜在免训练工具，但其在建筑信息方面的适用性和可靠性尚未被探索。在本研究中，我们利用包含逻辑指令的提示开发了一种用于建筑立面图像的零样本建筑年代分类器。以伦敦为测试案例，我们引入了一个新数据集FI-London，包含建筑立面图像和建筑年代时期。尽管该免训练分类器仅达到了39.69%的适中准确率，但0.85个十年单位的平均绝对误差表明，该模型能够成功预测建筑年代时期，尽管存在较小偏差。随后的讨论表明，该分类器在预测非常古老建筑的年代时存在困难，并且在2个十年单位内的细粒度预测方面面临挑战。总体而言，利用GPT-4 Vision的分类器能够在无需任何训练的情况下，从单张建筑立面图像预测建筑的大致年代时期。
引用
@article{arxiv.2404.09921,
title = {Zero-shot Building Age Classification from Facade Image Using GPT-4},
author = {Zichao Zeng and June Moh Goo and Xinglei Wang and Bin Chi and Meihui Wang and Jan Boehm},
journal= {arXiv preprint arXiv:2404.09921},
year = {2024}
}