AgentCaster：基于推理引导的龙卷风预测

评估大型语言模型（LLM）在复杂、真实世界任务上的表现，以衡量其作为推理代理的真实就绪状况。为填补这一空白，我们介绍了 AgentCaster，一个采用无多模态大语言模型的无污染框架，用于挑战性的、长期范围的龙卷风预测任务。在 AgentCaster 中，模型从高分辨率对流允许预报档案中解释异构时空数据。我们在包含多个主要龙卷风暴的40天期间对模型性能进行评估，包括超过500条龙卷风报告。每天，模型从3625个预报图和40125个预报声学数据中进行查询，以进行12-36小时的预报时程。概率龙卷风风险多边形预测被验证于从投影坐标空间中不同风险带的几何比较中推导出的真实值。为量化准确性，我们提出了特定于领域的 TornadoBench 和 TornadoHallucination 指标，其中 TornadoBench 对 LLM 和领域专家人类预报员都具有高度挑战性。值得注意的是，人类专家显著优于最先进的模型，这些模型表现出强烈的幻觉倾向并过度预测风险强度、在精确地理位置方面困难，并在复杂、动态演化的系统中表现出差弱的时空推理。AgentCaster 旨在推动改进 LLM 代理以应对关键领域中挑战性推理任务的研究。