Shootout-89：预报强对流天气的知识库系统比较评估

1989年夏天，美国国家海洋和大气管理局的预报系统实验室赞助了一次对预报强对流风暴的基于人工智能系统的评估。这项名为 Shootout-89 的评估实验在 Boulder 举行，重点关注科罗拉多州东北部山麓与平原上空的风暴（Moninger 等，1990）。六个系统参与了 Shootout-89，包括传统专家系统、基于类比的系统，以及一个使用认知科学/判断分析传统方法开发的系统。在演练期间的每一天，各系统生成科罗拉多州东北部四个区域中以下情况发生概率的 2 至 9 小时预报：非重要天气、重要天气和严重天气。在丹佛天气预报办公室工作的验证协调员从观测员网络收集真值数据。系统根据几项预报技巧指标以及其他度量标准（如及时性、易学性和易用性）进行评估。系统通常易于操作，然而不同系统对其用户的气象专业知识水平要求差异很大——这反映了各系统设计时所针对的不同操作环境。系统的统计行为各异，但在这一困难的预报问题上，系统通常表现出的技巧约等于持续性预报和气候学（历史频率）预报。两个似乎最能区分重要与非重要天气事件的系统是传统专家系统。这两个系统都要求操作员做出相对复杂的气象判断。仅基于一个夏天的数据，我们无法确定这两个系统更高的技巧在多大程度上归因于其知识库的内容，或是归因于操作员的主观判断。后续实验 Shootout-91 目前正在规划中。鼓励感兴趣的潜在参与者通过上述地址联系作者。