S2SServiceBench：面向季节性气候服务的多模态基准测试
机器学习
2026-02-17 v1
摘要
季节性-亚季节性（S2S）预报在为气候韧性和可持续性提供决策关键的周至月规划窗口方面发挥着 essential 作用，但日益增长的瓶颈是最后一公里的差距：将科学预报转化为可被信任、可操作的气候服务，这需要在不确定性下进行可靠的多模态理解和决策导向推理。尽管多模态大语言模型（MLLM）及相应的代理范式在支持各种工作流程方面取得了快速进展，但仍不清楚它们是否能够在不确定性下可靠地从操作服务产品（例如，可操作信号理解、决策交接和决策分析与规划）生成决策制定交付物。我们介绍 S2SServiceBench，一个来自操作气候服务系统并用于评估此类能力的多模态基准测试。S2SServiceBench涵盖10个服务产品，约150+个专家挑选的案例，涵盖六个应用领域——农业、灾害、能源、金融、健康和航运。每个案例在三个服务水平上实例化，总计约500个任务和1000+个评估项目，涉及气候韧性和可持续性应用。使用S2SServiceBench，我们对最先进的MLLM和代理进行基准测试，并分析不同产品和服务水平上的表现，揭示了S2S服务图理解和推理中的持久挑战——即，可操作信号理解、将不确定性实现为可执行交接，以及在动态灾害情境下进行稳定、以证据为依据的分析与规划——同时为构建未来气候服务代理提供了可操作的指导。
引用
@article{arxiv.2602.14017,
title = {S2SServiceBench: A Multimodal Benchmark for Last-Mile S2S Climate Services},
author = {Chenyue Li and Wen Deng and Zhuotao Sun and Mengxi Jin and Hanzhe Cui and Han Li and Shentong Li and Man Kit Yu and Ming Long Lai and Yuhao Yang and Mengqian Lu and Binhang Yuan},
journal= {arXiv preprint arXiv:2602.14017},
year = {2026}
}
备注
18 pages, 3 figures, 6 tables