SemEval-2026 任务 4：叙事故事相似性与叙事表示学习
计算与语言
2026-04-24 v1
摘要
我们介绍叙事相似性和叙事表示学习共享任务 - NSNRL (发音为 "nass-na-rel")。该任务将叙事相似性 operationalize 为二元分类问题: 确定哪个故事与锚故事更相似。我们提出了一种新颖的叙事相似性定义, 兼容叙事理论与直观判断。基于此概念收集的相似性判断, 我们还评估了叙事嵌入表示。我们为超过 1000 个故事摘要三元组收集了至少两个标注, 每个标注都由至少两个批注者达成一致。本文描述了样本和标注过程;进一步, 我们给出提交系统概览及所采用技术。我们收到来自 46 支团队共计 71 个最终提交, 覆盖我们的两个轨道。在基于三元组的分类设置中, LLM 集成是许多顶级系统;在嵌入设置中, 在预训练嵌入模型上进行预处理和后处理的系统与自定义微调解决方案表现相当。我们的分析识别出自动系统在两个轨道上仍有提升空间。任务网站包括嵌入可视化以及所有团队的实例级分类结果。
引用
@article{arxiv.2604.21782,
title = {SemEval-2026 Task 4: Narrative Story Similarity and Narrative Representation Learning},
author = {Hans Ole Hatzel and Ekaterina Artemova and Haimo Paul Stiemer and Evelyn Gius and Chris Biemann},
journal= {arXiv preprint arXiv:2604.21782},
year = {2026}
}