MULTISEISMO：面向跨模态地震理解的多模态地震数据集与模型
机器学习
2026-05-27 v1 计算与语言
摘要
通用多模态模型（Generalist Multimodal Models, GMMs）的应用在专业科学领域仍有限，由于缺乏整合文本和图像之外多种数据模态的综合性领域特定数据集。在地震学中，理解地震现象需要综合时序波形数据、地理图像和上下文元数据，这种多模态集成在现有地震数据集中均不存在。我们提出MultiSeismo（多模态地震），一个大规模结构化多模态地震数据集，涵盖2010年至2023年间跨越13年、覆盖多个地理区域的16000多个地震事件。每个事件数据集整合了来自全球站网的波形记录、强度图、人口暴露可视化以及在标准化JSON格式中包含的综合性文本描述。我们另外开发MISCE（多模态指令集），基于原始数据构建指令集，以支持GMM在信息检索到复杂跨模态分析等地震推理任务的监督训练和评估。我们利用MISCE对现有多模态模型（Unified IO 2）进行微调，增强其时序编码器，从而得到SeisModal——首个针对综合性地震分析的领域特定多模态模型。对当前先进多模态模型在MultiSeismo上的评估揭示了特别是时序数据处理方面面临的重大挑战，同时表明SeisModal在地震多模态推理任务中表现优异。这些结果表明，MultiSeismo为未来地震学多模态研究提供了严格的基准，验证了我们领域特定架构调整的成功。
引用
@article{arxiv.2605.26320,
title = {MULTISEISMO: A Multimodal Seismic Dataset and Model for Cross-Modal Seismic Understanding},
author = {Sai Munikoti and Ian Stewart and Chengping Chai and Lisa Linville and Scott Vasquez and Sameera Horawalavithana and Karl Pazdernik},
journal= {arXiv preprint arXiv:2605.26320},
year = {2026}
}