SEOE：面向开放域事件检测的可扩展且可靠的语义评估框架

开放域事件检测（ODED）的自动评估是一项极具挑战性的任务，因为ODED具有来自不同领域的无约束输出标签的极大多样性。现有的几乎所有ODED评估方法通常首先构建标签和领域覆盖有限的评估基准，然后使用基于token级标签匹配规则的指标来评估ODED方法。然而，这种评估框架面临两个问题：（1）有限的评估基准缺乏对真实世界的代表性，难以准确反映各种ODED方法在真实场景中的性能；（2）基于token级匹配规则的评估指标无法捕捉预测与金标准标签之间的语义相似性。为了解决上述两个问题，我们提出了一种可扩展且可靠的开放域事件检测语义评估框架（SEOE），通过构建更具代表性的评估基准并引入语义评估指标。具体而言，所提出的框架首先构建了一个可扩展的评估基准，目前包含覆盖7个主要领域的564种事件类型，并采用经济高效的补充标注策略以确保基准的代表性。该策略还允许未来补充新的事件类型和领域。然后，所提出的SEOE利用大语言模型（LLM）作为自动评估代理来计算语义F1分数，结合细粒度的语义相似标签定义以增强评估的可靠性。大量实验验证了基准的代表性和语义评估指标的可靠性。现有ODED方法得到了全面评估，并对预测的错误模式进行了分析，揭示了几个有见地的发现。