基于多模态方法的文化遗产保护：面对气候变化
人工智能
2025-10-17 v1
摘要
文化遗产地点面临加速的恶化，由于气候变化，传统监控方法仅依赖单一模态分析（视觉检查或环境传感器alone），无法捕捉环境应激与材料退化之间复杂的相互作用。我们提出了一种轻量级多模态架构，将传感器数据（温度、湿度）与视觉图像融合，以预测遗产地点的退化程度。该方法在PerceiverIO基础上进行改进，包含两个关键创新：(1)简化的编码器（64维潜在空间），可防止在小型数据集（仅37个训练样本）上过拟合；(2)自适应Barlow Twins损失，鼓励模态之间的互补性而非冗余性。在斯特拉斯堡大教堂的数据上，本模型实现了76.9%的准确率，相较于标准多模态架构（VisualBERT、Transformer）提高了43%，相较于原始PerceiverIO提高了25%。消融研究表明，仅使用传感器数据可达61.5%准确率，而仅使用图像数据则达到46.2%，确认了多模态协同效应的成功。系统性的超参数研究识别出最佳的中等相关目标（τ=0.3），在平衡对齐与互补性方面取得69.2%的准确率，而其他τ值（τ=0.1/0.5/0.7：53.8%，τ=0.9：61.5%）表现较差。本工作表明，架构的简单性结合对比正则化，能够在数据稀缺的遗产监控场景中实现有效的多模态学习，为基于AI的 conservation决策支持系统提供了基础。
引用
@article{arxiv.2510.14136,
title = {A Multimodal Approach to Heritage Preservation in the Context of Climate Change},
author = {David Roqui and Adèle Cormier and nistor Grozavu and Ann Bourges},
journal= {arXiv preprint arXiv:2510.14136},
year = {2025}
}